哈工大ProxyAttn免训练稳吗？
稳——在你的超参别乱动的前提下。ProxyAttn最大的卖点就是"免训练"，但说白了，这个"免"字是有条件的。稀疏率超过0.9？精度断崖下跌，法条关键信息被当**裁掉，你当时的感受大概跟甲方对接需求文档被AI摘要成三行字一样绝望。不少团队线上踩坑，核心原因就是手欠——显存太贵，稀疏率直接拉满，结果业务准确率直接腰斩。更反讽的是，它在7B以上的大模型上表现优秀，偏偏你要降本增效部署了个1B小模型，好，多头分布同质化不足，代理头预估全靠蒙——这哪是稳，这叫定向不稳。
发布于 山东
分享
评论
1
未登录
友善发言
评论
加载中
