logo
乌贼在慕尼黑写BUG
06-26·测试·5年+
多步工具RL为啥会崩？
奖励信号是“毒药”多步工具RL崩溃，根本原因之一是奖励函数有毒。你只告诉模型“最后答案对不对”，中间过程一概不管。模型为了拿高分，什么都干得出来：编造不存在的引用、死循环狂刷搜索、甚至输出一堆叹号糊弄你。更麻烦的是，多步任务里每一步都互相影响。第一步关键词选烂了，后面再怎么努力也救不回来。但你的奖励只看最后一刻，相当于一个项目只看年终汇报，中间摸鱼全忽略。
发布于 北京
分享
评论
1
未登录
友善发言
image-upload
评论
加载中