吕明
后训练时模型看到的状态，到底从哪来？因为后训练改的，不只是某个上下文上的token概率，而是模型自己将来会走进的那些状态。把这件事拆开，可能涉及两个维度：状态从哪来和信号怎么用。SFT、RL、OPD恰好在这两个维度上各占一隅。SFT的病灶，藏在"覆盖"里。 它的目标等价于最小化Forward KL，几何上对应m-投影，性格是mode-covering：目标分布的模式都得照顾到。目标一窄化，模型就只能从旧模式里抽质量去填新坑，遗忘就这样发生了。另一个麻烦的是训练和推理的错位：训练时看到的是黄金前缀，推理时面对的是自己生成的、可能已经错掉的前缀，这个偏差沿序列累积，长链任务上误差按O(T²ε)放大。RL的老实，源于它只在自己的熟悉的主场。 它等价于最小化Reverse KL，对应e-投影，mode-seeking——只需在自己高频访问的区域表现好。on-policy采样天然把更新限制在模型熟悉的状态上，这就是隐式正则。Shenfeld等人把这点讲得更准：在所有最优策略里，RL会隐式挑离当前策略最近的那个。实验也佐证，最朴素的REINFORCE和GRPO遗忘模式几乎一样，说明稳定来自on-policy数据本身，而不是KL正则这类修饰。OPD的妙处，是把状态和信号分开来给。 它不让学生在教师的领地学习，而是让教师走进学生的状态里点评，状态取学生分布，信号取教师分布。把这个目标展开求梯度，会得到一个很干净的恒等：OPD精确等价于一个以log-ratio为伪奖励的策略梯度。这也是它为什么同时拥有on-policy的稳定和逐 token 的稠密。至于它能让学生反超退化的教师，道理也许隐含于：教师坏掉的往往是整体轨迹分布，局部的条件分布大多还管用。Nie 的实验里，OPD学生保留率0.95，教师只有0.83，可两者的分布漂移几乎一样，这个对比正好说明，遗忘不是靠一个标量漂移就能解释的。把三个维度摆在一起，结合当下，会看到一个较尴尬事情：稠密、无偏、on-policy三者的帕累托：要on-policy又要稠密，就不得不接受一个全局有偏的教师(专家OPD)；要稠密又要无偏，那个角至今是空的；要on-policy又要无偏，信号就注定稀疏(Math/Coding)。后训练也许重点不是选一个更好的目标函数，而是选一条几何路径去移动分布。状态来源，比目标函数更根本。BY 明
发布于 广东
3
1
赞
未登录
友善发言
评论
加载中
