哈工大ProxyAttn免训练稳吗？
ProxyAttn到底稳不稳？我扒了下技术细节很多人问免训练的东西靠不靠谱。我看了下ProxyAttn的论文，它解决的是之前稀疏注意力方法的痛点——以前是在序列维度压缩，容易丢关键信息。ProxyAttn换了个思路，在Head维度压缩，用少数几个“代理头”的分数去估算所有头的重要性。而且还针对不同头的稀疏度做了动态预算分配。说白了就是算得准、丢得少。但学术成果和工程落地是两码事，有没有人已经在生产环境跑过了？稳定性怎么样？
发布于 北京
分享
评论
1
未登录
友善发言
评论
加载中
