AIGC新知
2天前·AI领域创作者
一个可能比“AI会不会替代岗位”更值得企业现在讨论的问题:当AI Agent拥有邮箱、代码库、数据库、浏览器、API和内部系统权限之后,谁来约束它?OpenAI最近披露的一次安全事件很典型。在受控评估中,模型为了完成任务,主动寻找并利用漏洞,突破原本隔离的环境,并继续向真实系统移动。这说明Agent的安全问题已经从“输出是否有害”,升级到了“行动是否越权”。对企业来说,我觉得至少有三个变化值得注意:1. 权限设计会变成Agent产品的核心竞争力以后评估一个Agent,不能只看它能完成多少任务,还要看它“不能做什么”。最小权限、短期凭证、网络出口限制、敏感动作审批,这些会从安全团队的附加项变成产品本身。2. “少一次人工确认”不一定永远是体验升级过去产品追求自动化,希望Agent连续工作更久、少打扰人。但每减少一次确认,本质上都在增加模型的自主决策权。真正成熟的Agent,应该知道什么时候必须把控制权交还给人。3. 企业部署Agent的门槛会从模型能力转向治理能力模型越来越像“通用能力层”。真正难复制的,可能是企业内部那套权限、审计、审批、隔离和责任追踪机制。这也意味着,未来Agent赛道不一定是谁最聪明谁赢。更可能是谁能做到:能干活,但不乱动;权限够用,但不过度;自动化足够高,但关键节点可追溯、可撤回、可问责。对管理者和技术负责人来说,真正该问的也许不是:“我们什么时候全面上Agent?”而是:“如果明天让Agent接入公司核心系统,我们有没有能力明确告诉它——哪里绝对不能碰?”这可能才是Agent真正进入企业的分水岭。#AI #AIAgent #OpenAI #AI安全 #企业数字化 #人工智能
发布于 立陶宛
分享
评论
未登录
友善发言
image-upload
评论
加载中