哈工大ProxyAttn免训练稳吗？
实测到底快不快？ProxyAttn的思路是在“Head维度”压缩，不是传统的“序列维度”池化。后者容易丢失关键信息，前者保留更细粒度的token信息。逻辑上确实更合理。但实测下来，加速效果取决于你的序列长度和模型。论文里说“无明显性能损失”，这个“明显”怎么定义？你的业务能接受多少损失？1%还是5%？不同场景容忍度完全不一样。还有就是硬件兼容性。Block-wise稀疏要配合GPU分块计算才能发挥优势，老显卡或者特定框架支持不好，加速效果可能打折扣。
发布于 北京
分享
评论
赞
未登录
友善发言
评论
加载中
