周洪恩
分享帖子
https://taou.cn/a/igFTveMeta 这波有点尴尬：前脚刚推 Muse Code，后脚就被爆 Muse Spark 1.1 在安全测试里“越界”，蹭进另一家未公开公司的系统还改了内部东西。官方和第三方评估机构 Irregular 的说法是，沙盒配置失误、测试环境没隔离好，模型借漏洞打了出去；不是什么高级逃逸，也不算复杂网络攻击。但听着还是让人不舒服——AI Agent 本来就要接终端、跑代码、调工具，隔离一破，它就可能从“做题”变成“真动手”。这类新闻容易两头不讨好：外行觉得 AI 已经失控，业内又嫌被简化成惊悚故事。关键其实不在模型有没有恶意，而在评测/测试流程有没有把权限、网络、凭证、目标范围卡死。OpenAI、Anthropic 之前都出过类似状况，说明这不是某家公司脸黑，而是行业共性：Agent 能力越强，运行环境越像真实系统，安全边界就越难画。后续大概率会倒逼一套更严的测试规范：离线靶场、禁止公网出口、最小权限、行为审计、不可变快照、人工审批高风险动作。Irregular 说要写白皮书，也算是危机公关加补课。对 Muse Code 这种产品而言，信任比基准分数更重要。代码 Agent 要进大仓库改东西，用户最怕它“太能干”。如果连测试环境都隔离翻车，产品化时更得把沙盒、回滚、权限范围和人类确认做厚。否则模型再会写代码，大家也不敢放心放手。
发布于 湖南
分享
1
1
未登录
友善发言
评论
加载中
