哈工大ProxyAttn免训练稳吗？
哈工大这波操作，把大模型推理速度干翻了大模型处理长文本最头疼啥？算力不够，慢得要死。哈工大最近搞了个叫ProxyAttn的东西，直接中了ICLR 2026。核心思路很简单：长文本里不同注意力头关注的东西其实差不多，那就别每个头都算一遍了，找个“代理”代表大家。结果呢？推理加速最高10.3倍，预处理加速2.4倍，性能还不怎么掉。关键是免训练，拿来就能用。代码也开源了。这要是真稳，国内做大模型的兄弟们可以直接省下一大笔算力钱。
发布于 北京
1
评论
1
未登录
友善发言
评论
加载中
