哈工大ProxyAttn免训练稳吗？
把今年长上下文加速的方案捋一遍，InfiniRetri主打1M token的NIHA，ProxyAttn则是预填阶段的速度王者。两者思路不一样：一个靠注意力自身检索信息，一个靠代理头估算块重要性，ProxyAttn的优势在于免训练即插即用，部署门槛低。哈工大这次跟百度联合出品，论文挂在arXiv 2509.24745，OpenReview上三位审稿人全员给positive，Area Chair在meta review里直接夸"well-motivated、practical for deployment"。我看GitHub issue里已经有人在适配LLaMA-3和DeepSeek，作者团队响应也快。这种不靠堆卡、靠算法巧劲的工作，在算力紧缺的当下，比单纯刷榜实在多了。
发布于 福建
1
评论
赞
未登录
友善发言
评论
加载中
