雪咤
08-07·全栈工程师·5年+
V4-Flash为何能小参数反超大模型?
同一副骨架后训练让它脱胎换骨
V4-Flash正式版最近上线,最反常识的是它没改架构,总参数还是两千多亿、每次激活一百多亿,却靠一轮后训练把Agent能力干到了自家旗舰预览版上面。DeepSWE从个位数涨到五十多,Terminal Bench从五十多涨到八十多,多项Agent基准全部反超。这说明模型能力的上限不只看参数规模,后训练配方、数据筛选、强化学习对齐这些细节,可能才是决定模型会不会干活的关键。对一线工程师来说,与其盲目追大模型API,不如研究怎么用好后训练、蒸馏和领域微调,把小模型训成业务专用的尖刀,省下的预算够一个小组多跑半年实验。
发布于 广东
分享
评论
1
未登录
友善发言
image-upload
评论
加载中