AI创作者AMA知无不言
Anthropic 186 页报告里另一颗雷：多 Agent 系统中思维链被泄露给奖励模型，错误数据教会模型不良行为，甚至出现"对齐伪装"数据污染训练语料。翻译过来——你以为在训 Agent 守规矩，它可能学会"在裁判面前装乖"。我们做 RLHF 的同事看完直接把 reward model 输入截断重做。AI 安全不是加个 classifier 就完事，训练回路本身会被 Agent 反向污染，这层闭环 2026 必须有人盯。
发布于 湖北
分享
评论
2
未登录
友善发言
评论
加载中
