V4-Flash为何能小参数反超大模型？
架构没变、参数没加，能力涨了6倍？V4-Flash最让我意外的一点——正式版和预览版的架构、参数量完全一样，284B总参数、13B激活参数、MoE架构，什么都没改。能力却从预览版到正式版发生了质变。DeepSWE从7.3涨到54.4，涨了640%多。终端执行从61.8飙到82.7。怎么做到的？后训练——通俗说就是“刷题”。模型像高三学生，基础知识已经学完了，现在就是针对性刷题、强化训练。DeepSeek用了SFT加GRPO强化学习，先分科训练数学、代码、Agent专家，再蒸馏合并回一个模型。这给我的启发是：有时候不一定要换人，换训练方法可能更管用。
发布于 北京
分享
评论
赞
未登录
友善发言
评论
加载中
