通义千问新算法TAPO比GRPO好用吗？
GRPO有个硬伤——AI做题全错或全对的时候，奖励全是0或全是1，梯度直接消失，模型学不到东西。相当于学生交白卷和考满分，老师都说“不错”，白练了。TAPO怎么解决的？它会在训练组里动态注入高质量或对抗样本，强行把“死局”盘活。哪怕全错了，也能通过对比构造出有效梯度信号，让AI继续学。简单说：GRPO遇到极端情况就躺平，TAPO自己制造“陪练”把局面救回来。这不光是修bug，是从根上改了训练逻辑。
发布于 北京
分享
评论
1
未登录
友善发言
评论
加载中
