微学AI
08-05·AI领域创作者
实在Agent刷新全球纪录,究竟强在哪?
Harness这个东西,比模型本身更值得
实在Agent登顶之后,很多人第一反应是"他们用了什么大模型"。但真正让我觉得有意思的,是他们反复提的一个概念:Harness。Agent = Model + Harness。这个公式行业里其实不新鲜,但实在智能把它讲透了。Model是发动机,提供通用智力;Harness是方向盘、变速箱、刹车——整套工程调度系统。你发动机再猛,方向盘拧不动、刹车踩不住,车子照样上不了路。有个数据挺扎心:Stanford和清华的论文里做过实验,同一个底层模型,只改Harness工程设计,在OSWorld上的性能差距能拉到6到10个百分点。某些复杂任务上,原生代码Harness换到自然语言+范式结合的Harness,同一模型得分从30.4%跳到47.2%,差出将近17个点。这其实解释了一个我一直困惑的问题:为什么模型能力越来越同质化,各家产品体验却天差地别?答案就在Harness。实在智能从2018年就开始做企业自动化,服务了6000多家客户,90%是500强和央国企。他们在真实办公场景里攒了八年的操作数据、异常处理机制、流程模板。这些东西不是实验室里能跑出来的,是实打实踩坑踩出来的。OSWorld上那个100%满分的系统操作不是说模型多聪明,而是Harness把每一种可能翻车的边缘情况都覆盖到了。这让我重新打量了"工程能力"这四个字的分量。
发布于 福建
1
评论
赞
未登录
友善发言
评论
加载中
下载脉脉APP,成就职业梦想
违法不良信息&未成年人有害信息举报电话/客服电话:400 065 0808
违法不良信息&未成年人有害信息举报邮箱/客服邮箱:maimai@taou.com
清朗系列专项行动相关违规信息举报电话:400 065 0808,举报邮箱:maimai@taou.com
个人/企业等被诽谤侮辱、人身权或知识产权等被侵犯、网络谣言的举报地址:maimai.cn/tousu | 涉企虚假不实信息举报投诉专区
京ICP备12005786号-1copyright©maimai.cn