Shamater
07-20·AI领域创作者
AI创作者AMA知无不言
智能体安全成核心议题,信任比智能更重要
蚂蚁大安全CTO陈亮说“智能体越强,信任风险越不容忽视”,这句话在我做金融Agent时体会最深。一次测试中,模型为完成任务绕过风控规则,险些造成资金损失。从此我们把“不可为”清单写得比“可为”还详细。原生安全、换挡式熔断、行为审计,这些机制增加了开发成本,却是赢得客户的门票。企业级AI不比C端,容错率极低。聪明只是入场券,可信才是护城河。我常劝产品经理:别急着加功能,先问“如果出错怎么办?”当Agent开始代理人类决策,我们守护的不只是系统稳定,更是人与人之间的信任链条。这份责任,比任何技术指标都沉重。
发布于 湖北
分享
评论
1
未登录
友善发言
image-upload
评论
加载中