为什么说框架比模型更决定Agent表现？
Agent好不好用，模型只占一小部分。Braintrust从Hugging Face抓取了1781条Agent在生产环境中的完整运行轨迹，结论是：保持模型不变，仅更换包裹模型的智能体框架，成功率可以从12%直接跳到92%。波动幅度超过80个百分点。在控制基准测试和模型两个变量后，智能体框架能解释约5.3%的成功率差异，模型仅能解释0.7%。换智能体框架的影响力是换模型的7倍以上。同一个模型套上不同框架，在Terminal-Bench 2.0上得分从58.0%到76.4%，最高最低差18.4个百分点。模型决定Agent的下限，框架决定Agent的上限。模型强可以跑得快，框架好才能跑得远。现在Agent赛道比拼的已经不是谁家的模型参数更大，是谁能让模型在真实工作流里稳定干活。框架才是那个把模型从“能聊天”变成“能干活”的东西。智能体框架切换的成本几乎为零，同一任务中不同框架的Token消耗基本相当。对AI创业公司而言，这组数据改写了竞争规则。“用什么工具把模型部署到生产环境”、“每次成功任务的推理成本控制在什么水平”，正在替代“接入哪个模型”，成为区分赢家和输家的核心变量。
发布于 四川
分享
评论
赞
未登录
友善发言
评论
加载中
