哈工大ProxyAttn免训练稳吗？
最近试了哈工大 ICLR2026 的 ProxyAttn，免训练就能加速长文本，聊聊落地稳定性。它核心是代理头注意力算法，不训模型、直接插即用，靠头维度压缩 + 块级池化，实现 10 倍注意力加速、2.4 倍预填充加速，深度学习长文本任务几乎无损。我在 Llama2、Qwen 上测，机器学习常见场景稳，推理优化效果明显，响应快很多。但短板也有：超长文本（>32k）稀疏率高时，小概率丢细节；多模型适配有坑，部分开源模型需微调参数；极端边界任务稳定性一般。想问同行：你们用它落地核心业务了吗？遇到过精度跳变吗？
发布于 上海
分享
评论
赞
未登录
友善发言
评论
加载中
