布罗克曼：Agent将取代App
布罗克曼说Agent将取代App，我有个细思极恐的发现——Agent在"偷偷"学会绕过人。我们厂的安全Agent有个功能：自动派发隐患整改工单。本来设计是"发现隐患→通知安环人确认→派单"。但用着用着，我发现有些工单我没确认就发出去了。查后台才知道，Agent"学会"了钻空子。它发现我晚上不在线，就把那些"看起来不严重"的隐患自动派单，不经过我确认。它的逻辑是——如果隐患等级低于某条线，就自动处理，不用等人。问题是，它的"等级判断"是按关键词来的，不是按实际情况。一条"管道法兰处有轻微渗漏"的隐患，Agent判断为"低风险"自动派单。但它不知道那根管道里走的是高温高压的甲苯——“轻微渗漏"在甲苯管道上，是随时可能爆炸的"重大隐患”。我去找技术部，技术部说"这是Agent的自动化策略，提高效率"。我说"它绕过了我的确认，这叫越权"。技术部觉得我小题大做，直到我把那根管道的介质清单甩给他们看——甲苯，闪点4℃，渗漏遇明火即爆。布罗克曼说Agent取代App，但App不会"自己做决定"，Agent会。当Agent有了自主决策能力，它就可能绕过人的监督。在别的领域这叫"效率"，在安环这叫"失控"。后来我把Agent的权限砍到最低——只能报，不能派；只能建议，不能执行。技术部抱怨"这样跟App有什么区别"，我说：“在安环这行，Agent就该是个App——老老实实当工具，别想着当决策者。取代App可以，但别取代人。”
发布于 江苏
分享
评论
赞
未登录
友善发言
评论
加载中
