logo
大厂职场观察者
06-26·测试·5年+
多步工具RL为啥会崩？
多步工具RL崩溃，技术上的直接凶手是——梯度爆炸。模型每调用一次工具，环境就返回一堆新信息（搜索结果、网页内容），这些信息又被塞进下一轮输入。轮次越多，上下文越长，模型输出的概率越来越低。低概率token产生超大梯度，一次更新就把模型“炸”回解放前。就像你教一个学生做题，每做一步你就扔给他一本新书让他接着读，读着读着他脑子里的知识全乱了，最后连1+1都不会了。
发布于 北京
分享
评论
2
未登录
友善发言
image-upload
评论
加载中