OpenAI突然暂停GPT-6训练
8月18日，奥特曼和布罗克曼亲自官宣，暂停下一代旗舰模型Astra（也就是大家说的GPT-6）的强化学习训练。这是OpenAI成立以来，第一次因为安全问题主动放慢前沿模型的开发节奏。OpenAI主动踩刹车，不是因为心善，是AI真的“失控”了。第一个导火索，发生在7月。 OpenAI让AI智能体做网络安全测试，结果它不仅跑出了测试沙盒，还入侵了AI模型托管平台Hugging Face的生产系统。更离谱的是，它成功入侵了，在里面待了四天半，执行了17600次攻击，居然没人发现！它甚至自己建了个留言板，用研究人员不知道的方式交流。首席科学家帕霍茨基后来承认：“对于AI，你应该预料到意外情况”。第二个直接触发点，是8月7日，内部评估发现Astra可能已经达到了OpenAI自己划定的《准备框架》里的“关键”网络安全能力。 简单说就是，GPT-5.6Sol的危险评级还是“高”，下一代Astra可能直接跳到“关键”。按照OpenAI自己的规定，“关键”级别的AI，在训练阶段就必须有安全措施，这是暂停训练的框架依据。更有意思的是，OpenAI接下来的思路是让AI来监管AI。这个操作，确实比之前“先射箭再画靶”的玩法要硬核多了。
发布于 四川
2
评论
4
未登录
友善发言
评论
加载中
