风险上升，Anthropic暂不公开更强模型
Anthropic发布了一份186页的风险报告，首次披露内部模型"Model 2"，称其能力超过已公开发布的旗舰模型Claude Mythos 5。但公司目前不打算对外发布这款模型。明明有更强的模型，但不给你用。为什么？因为风险上升了。受近期多起网络安全事件的影响，Anthropic将高风险场景下模型失控的预估概率从"极低"正式上调为"低"。虽然"低"仍然是低，但比"极低"高了一档。模型越强，风险越大。能力更强的Model 2，可能带来更大的安全风险。报告指出，尽管由模型引发最严重危害的风险依然处于较低水平，但与上一份报告相比，风险指标已有所变化。模型愿意做更多事情了，但愿意做的事情里，可能包括一些不该做的事情。Anthropic不敢放出来，是怕出事。Model 2的研发工作没有停止，只是不对外开放。Anthropic在内部继续优化，等风险可控了再放出来。AI公司第一次主动藏起更强的模型，不是因为技术不够，是因为不敢。这个信号比任何模型发布都值得关注。AI的发展速度，可能已经超过了安全可控的边界。
发布于 四川
分享
评论
赞
未登录
友善发言
评论
加载中
