为什么说框架比模型更决定Agent表现？
今年年初我接手一个客服agent，上线即翻车。用户问三件事，它常常只答对第一件，剩下两件顺着话头现编。我第一反应是换模型，前后换了三个，贵的便宜的都有，效果纹丝不动。那阵子我逢人就吐槽，说这届模型都不行。直到有个朋友来我工位看了十分钟，指着一行日志说：你这对话历史堆了四十多轮，全塞给模型，它不晕才怪。我半信半疑，把框架里的历史裁剪策略改了改，旧对话压成摘要，近期对话完整保留，再跑同样的case，三件事全答对了。那一刻挺尴尬的，骂了半年的模型，其实是冤枉的。有个case我一直记着。用户问"帮我查下上个月退货最多的三个商品，顺便把库存也列出来，还有客服那边有没有相关投诉"。模型只回了退货排名，后面两个需求全丢了。我当时以为是模型理解力不行，后来发现是框架把这个问题截断成了两条消息，第二条压根没传给模型。后来我又翻了翻框架文档，发现里面还藏着不少没启用的能力：意图回退、工具参数校验、失败重试策略。以前我觉得这些是锦上添花，现在才明白，这些才是agent稳定干活的骨架，模型只是那身好看的皮。这事给我最大的教训是，出了问题先看编排，再看模型。很多团队跟我一样，预算全砸在换模型上，框架层一行代码没动。方向反了，花再多钱也是原地打转。后来我还把框架的记忆模块用了起来，让agent记住老客户的偏好，第二次对话就不用重新自我介绍。这个功能一直都在，我用了半年才知道。框架文档里躺着的东西，比我们以为的多得多。现在我带项目，第一件事就是把框架的坑摸一遍：上下文怎么衰减、工具失败怎么兜底、经验怎么沉淀。这些理不顺，换什么模型都白搭。你遇到过类似的事吗？最后发现是模型背了锅，还是框架背了锅？
发布于 山西
分享
评论
赞
未登录
友善发言
评论
加载中
