Sam Altman：AI有用性已证，重点转安全保障
奥特曼说AI安全分三个桶：对齐（Alignment）、安全架构（Security Architecture）、韧性（Resilience），很多人可能觉得这是概念炒作，我给大家翻译成工程师能懂的话，这三个桶真的是AI安全的三层防线，一个比一个重要。第一个桶"对齐"，大家最熟悉：就是让AI想做的事情跟人类想要它做的事情一致，不要你让它帮用户解决问题它反而骗用户钱，不要你让它实事求是它反而胡说八道。对齐大家讨论得最多，但坦白说现在技术还很初级，RLHF、Constitutional AI这些方法只能解决表面问题，模型比人聪明之后怎么监督它，奥特曼自己也说需要新想法，因为AI在写大量代码做大量研究，人根本审查不过来。第二个桶"安全架构"，这个工程上最实际：就是从系统设计上保证AI就算出问题也闯不了大祸，比如权限隔离——AI只能访问它完成任务需要的数据，不能什么都能看能改；人工兜底——关键决策必须有人确认才能执行；沙箱运行——AI生成的代码要在隔离环境里跑，不能直接访问生产系统；输出过滤——多层检查防止有害内容输出。这部分是我们工程团队现在最能发力的地方，不需要什么理论突破，靠扎实的工程设计就能做到。第三个桶"韧性"，这个讨论得最少但我觉得最被低估：就是系统出问题的时候能不能快速发现、快速恢复、不会造成连锁崩溃，被攻击了能不能防御，出故障了能不能降级，有bug了能不能快速回滚，就像传统软件的高可用设计，只是AI系统更复杂，不确定性更大，韧性设计也更难。很多人做AI系统只关注功能，三个桶一个都没做，不出事才怪。你们做AI系统的时候，这三层都考虑到了吗？
发布于 广东
分享
评论
1
未登录
友善发言
评论
加载中
