K神：先做透模型，再催Agent干活
K神说先做透模型再催Agent，我太有共鸣了——因为我就是那个"急着催Agent"翻过车的人。去年老板看Agent火了，逼着我们一个月内做出个Agent产品。我们拿GPT-4接了几个工具，搞了个"智能助理"，能查数据、发邮件、写报告。demo的时候老板很满意，说"这就是未来"。结果上线后灾难开始了。Agent经常理解错用户意图，把"查上月销售数据"理解成"查上个月的数据并生成销售报告"，然后自动发给了全公司。还有一次，用户说"帮我回复客户说价格可以谈"，Agent直接回复"价格随便你定"，单子黄了。复盘发现，问题不在Agent框架，在模型本身。GPT-4虽然强，但在我们业务场景里，对"意图理解"的准确率只有80%。这20%的误差，在简单对话里无所谓，但在Agent场景里就是灾难——因为它会自主执行，错了就真执行了。后来我们老老实实回去做模型优化，用业务数据微调，把意图理解准确率提到95%以上，才敢重新上Agent。K神说得对，模型是根，Agent是枝。根不牢，枝再茂盛也是假的。这事儿给我一个教训：技术热点可以追，但别本末倒置。Agent是趋势没错，但趋势不等于现在就该All in。先把基础打牢，等模型能力到位了，Agent是自然而然的事。K神这种"慢就是快"的思路，在浮躁的AI圈里，反而是最稀缺的。
发布于 江苏
分享
评论
赞
未登录
友善发言
评论
加载中
