logo
夜勤月
06-23·AI领域创作者
哈工大ProxyAttn免训练稳吗？
哈工大ProxyAttn免训练实测稳定性
我最近在7B和14B模型上测了ProxyAttn，免训练确实香，不用改权重，推理速度提升30%左右。但长上下文（超8k）会出现注意力漂移，生成重复内容。适合快速优化推理场景，生产环境建议先灰度测试，别直接全量上线。
发布于 江西
7
14
9
未登录
友善发言
image-upload
评论
加载中