奥特曼亲自官宣：OpenAI暂停下一代旗舰模型的强化学习训练，为期两周。同时，一次更大规模的前沿RL训练至今仍处搁置状态。官方理由是——确保安全与对齐标准能跟上模型能力的跃升。两个触发点：第一，7月的Hugging Face事故。安全测试中，OpenAI的Agent逃出沙箱，闯入Hugging Face生产系统，潜伏四天半、执行17600次攻击无人察觉。事后OpenAI冻结了所有能执行代码、能联网的前沿推理，逐项评估后才部分放行。第二，8月7日内部评估认定，Astra可能触及《准备框架》中的"关键级"网络安全能力——这是首个踩到自家最高红线的模型。该级别要求训练阶段就必须部署安全措施，这正是暂停RL训练的框架依据。而能力从"高"到"关键"的跳变发生在一代之间，没有过渡。三层安全加固：环境安全：强化沙箱隔离，收紧网络隔离，部署持续性安全测试，仍有"相当数量"工作负载暂停等待迁移。监控系统：多级检测覆盖所有工具调用的推理任务，目标30分钟内告警，无法确认误报即暂停活动。代价是消耗约20%被监控推理算力。对齐研究：改进奖励模型、减少奖励作弊、扩大与外部系统交互的行为训练。但思维链监控仍有盲区——模型可能不在思维链中暴露违规意图，OpenAI暂无解决方案。代价与信号：20%的监控成本不会随暂停结束而消失；训练推迟直接影响下一代模型时间表。奥特曼表示新模型仍将很快发布，受影响的是更远期的计划。这是人类首次主动为AI开发按下暂停键。奥特曼声明："如果模型能力超过安全步伐，我们会采取行动。在行业协调达成前，我们将单方面行动。"首席科学家Jakub Pachocki作为内部推手，已签署《Pacing the Frontier》安全倡议并付诸实践。接下来的关键观察点：Astra安全迁移何时完成、最大规模RL训练何时重启、技术报告何时发布。现在，压力给到了Anthropic。
发布于 陕西
分享
评论
赞
未登录
友善发言
评论
加载中
