哈工大ProxyAttn免训练稳吗？
稳定性断崖下滑4类边界场景（线上必避坑）1. 短文本＜1k token场景短句、单轮短对话多头注意力打分差异极大，代理头预估直接失效，不仅没有加速收益，问答准确率还会小幅下跌。落地必须加分支逻辑，输入长度低于1k自动关闭ProxyAttn模块。2. 碎片化无关文档拼接上下文多份无关联素材批量推理时，多头趋同特性消失，稀疏筛选偏差飙升；业务侧稀疏比例必须下调至0.5以内，禁止直接拉满0.9高稀疏率，否则法条、合同关键内容会被直接裁剪，业务准确率腰斩。3. 1B及以下极小模型部署该方案核心依赖多头打分同质化，1B小模型多头分布差异大，代理头权重估算完全失真，加速、精度双崩，只适合7B及以上规模基座。4. 超长文本续写Decode阶段论文原生优化仅覆盖Prefill预填充阶段，长文本Autoregressive解码几乎无加速增益，上千token续写场景稳定性、速度都会明显打折，纯生成续写业务不建议全量启用。
发布于 四川
分享
评论
赞
未登录
友善发言
评论
加载中
