Sam Altman：AI有用性已证，重点转安全保障
奥特曼说AI有用性已证、重点转安全，我有个反转故事，关于"AI安全系统本身不安全"。去年我们上了套AI安全监控系统，24小时盯着车间，识别违规行为——没戴安全帽、闯入危险区域、违规操作。系统很灵，第一个月就抓了50多起违规，领导很高兴，说"安环部终于有抓手了"。我也高兴，直到有一天——系统自己出了问题。那天夜班，系统突然疯狂报警，一晚上报了300多条违规。值班的安全员吓坏了，以为车间出大事了，连夜叫了所有人回来。结果到了现场一看，车间一切正常，是系统的AI模型"抽风"了——把正常的作业动作识别成了违规。更吓人的是，我们查后台发现，系统在"抽风"前，有5分钟完全没报警。也就是说，如果那5分钟真出了事，系统是"瞎"的。我们以为它在24小时监控，其实它有"盲区"。奥特曼说重点转安全，我想问一句：谁来保证"安全系统"本身是安全的？AI监控系统出了bug，不只是"误报"那么简单——它会让人对报警失去信任。第一次误报你紧张，第十次误报你麻木，第一百次误报你直接关了。等真出事的时候，系统已经没人信了。后来我们做了个"双保险"——AI系统+人工巡检，两条线独立运行，互相校验。AI漏的，人来补；人漏的，AI来补。奥特曼说要转安全，我的经验是：别把安全全交给AI，AI自己也需要被"安全监管"。在安环这行，没有任何单一系统是绝对可靠的，冗余才是安全的本质。
发布于 江苏
分享
评论
赞
未登录
友善发言
评论
加载中
