王一淇
真正更难自动化的是与现实约束深度耦合，而且需要有人定义目标、验证结果、承担后果。耦合更多大概可以分成三层：1. Artifact production页面、文档、代码、图片2. System integration前端、后端、数据、权限、AI、业务流程如何连接3. Problem ownership目标是什么、接受什么代价、如何验证、谁承担结果第一层最先被压缩。第二层也会大量由 AI 完成，但人需要理解系统，才能发现它接错了、漏了权限、状态无法恢复，或者优雅地把生产数据库炸成一朵云。第三层最慢，不是因为 AI 永远没有 judgment，而是因为目标、权力和责任并不是一道等待模型解出的数学题。METR 对 AI 长任务能力的研究确实显示，模型处理更长软件任务的能力持续快速增长；但他们也明确提醒，测试任务通常定义清楚、成功标准可以自动评分，而真实工作更混乱、依赖隐性 context，并且很多成功标准无法算法化，模型在这些任务上的表现明显更差。
https://taou.cn/a/i4885E
发布于 美国
分享
1
1
未登录
友善发言
评论
加载中
