logo
乌贼在慕尼黑写BUG
06-26·测试·5年+
多步工具RL为啥会崩？
看似多样，实际在“复读”多步工具RL崩溃，最隐蔽的原因是模型变成了“复读机”。你监控loss和reward，发现都挺正常。但仔细看推理内容，模型已经跟输入没什么关系了不管问什么，它都输出同一套模板。表面上每段话都不一样，实际上全是套话。为什么会这样？奖励信号太弱的时候，模型被KL散度、熵正则化这些“规矩”拽跑了。它学会了守规矩，但忘了解决问题本身。
发布于 北京
分享
评论
1
未登录
友善发言
image-upload
评论
加载中