哈工大ProxyAttn免训练稳吗？
昨天在组里把 ProxyAttn（ICLR 2026，哈工大SCIR出品）嵌进 Qwen2.5-7B-Instruct-1M 试了下 128K 长文本 RULER "Needle in Haystack"，开启 TopK=0.3 稀疏率——关键信息一个没丢，TTFT 比全量 FlashAttention 快约两倍。它原理是利用头间相似性建 Proxy Head 做块级重要性估计，不压缩 Token 维度，理论上比 Minference 那种序列池化更不易丢细粒度信息。
发布于 江西
分享
评论
1
未登录
友善发言
评论
加载中
