哈工大ProxyAttn免训练稳吗？
ICLR 2026 收录的 ProxyAttn 提出免训练稀疏注意力方案，适配各类长文本场景，兼顾推理提速与模型精度。该方案依靠代理头压缩、块级最大池化实现稀疏加速，在 Llama、Qwen 主流大模型，以及 RULER、InfiniteBench 长文本评测基准中，高稀疏度下精度几乎无衰减。核心优势在于即插即用，不用微调、重训模型，规避传统稀疏方案训练难、调参复杂、收敛波动等痛点；同时重要性预估计算开销不足常规注意力 5%，搭配动态预算分配机制，杜绝过度稀疏引发推理失效。但该方案稳定性存在约束，效果高度依赖注意力头相似性与原有模型架构，不同基座适配表现会有差异。
发布于 贵州
分享
评论
赞
未登录
友善发言
评论
加载中
