哈工大ProxyAttn免训练稳吗？
前两天刷到哈工大SCIR一作王同学在ICLR 2026上的ProxyAttn，我愣了好几秒。免训练、稀疏注意力、还比之前的方法快10.3倍，prefill阶段2.4倍——这数字搁一年前谁敢想？我专门去翻GitHub仓库，作者把代码、评测脚本、复现细节全甩出来了，star数这周还在涨。说实话，能在ICLR这种会上一作中稿，本科生都能吹一阵子，何况人家还是博一。更让我服气的是思路——别人都在"序列维度"压缩丢信息，他换个维度从"注意力头"下手，用一个代理头代表所有头，配合动态预算分配，逻辑闭环得很干净。算力焦虑的朋友可以蹲一蹲，部署成本能压一截。
发布于 福建
分享
评论
1
未登录
友善发言
评论
加载中
