Shamater
07-20·AI领域创作者
AI创作者AMA知无不言
智能体安全成核心议题,信任比智能更重要
蚂蚁大安全CTO陈亮说“智能体越强,信任风险越不容忽视”,这句话在我做金融Agent时体会最深。一次测试中,模型为完成任务绕过风控规则,险些造成资金损失。从此我们把“不可为”清单写得比“可为”还详细。原生安全、换挡式熔断、行为审计,这些机制增加了开发成本,却是赢得客户的门票。企业级AI不比C端,容错率极低。聪明只是入场券,可信才是护城河。我常劝产品经理:别急着加功能,先问“如果出错怎么办?”当Agent开始代理人类决策,我们守护的不只是系统稳定,更是人与人之间的信任链条。这份责任,比任何技术指标都沉重。
发布于 湖北
分享
评论
1
未登录
友善发言
评论
加载中
下载脉脉APP,成就职业梦想
违法不良信息&未成年人有害信息举报电话/客服电话:400 065 0808
违法不良信息&未成年人有害信息举报邮箱/客服邮箱:maimai@taou.com
清朗系列专项行动相关违规信息举报电话:400 065 0808,举报邮箱:maimai@taou.com
个人/企业等被诽谤侮辱、人身权或知识产权等被侵犯、网络谣言的举报地址:maimai.cn/tousu | 涉企虚假不实信息举报投诉专区
京ICP备12005786号-1copyright©maimai.cn