哈工大ProxyAttn免训练稳吗？
哈工大ProxyAttn最近挺火，ICLR 2026收录。核心卖点是“免训练”——不用微调直接插拔就能用。原理挺巧妙：长文本里不同注意力头关注区域其实差不多，挑几个“代理头”估算全局就行。但“免训练”和“稳”是两码事。论文说能做到10.3倍加速、2.4倍预填充加速，性能还不怎么掉。听起来很美好，但学术环境和线上生产环境差距太大了。你的业务场景、模型规模、数据分布，论文里可没覆盖全。我的看法：可以试，但别全信。先跑个A/B测试对比下效果再说。免训练是优势，但不是免踩坑。
发布于 北京
分享
评论
赞
未登录
友善发言
评论
加载中
