李东赫
给你一把尺子，量一下你们现在的 Agent 评测在哪一档。第一档：看回复。Agent 说"已完成"，就算通过。这一档其实等于没评测——它只是在复述 Agent 的自我汇报。第二档：看调用。工具调成功、接口 200、没报错，判通过。比第一档强，但还是浅。调用成功只证明"动作发生了"，不证明动作是对的，更不证明结果是任务要的。我被这一档坑过：Agent 删一批过期数据，调用全绿、状态也变了，按第二档铁过——结果它删的是那个客户的全部数据，参数理解反了。所有信号都是绿的，全指向一个错的对象。第三档：看证据闭环。不只问"它说完成了吗""它调用成功了吗"，而是问：产物对不对、业务状态有没有真变成该有的样子、这条结论的证据，凑齐了没有。凑不齐，就不判通过——该失败判失败，判不了的，标记不可判定。绝大多数 Agent 评测，卡在第一、第二档。不是因为团队不行，是因为第三档要建证据链，麻烦，而前两档"看起来"也能出个通过的结论，省事。但省下的这点事，会在生产环境连本带利还回来：研发以为正常，测试以为闭环，老板以为可靠，直到客户发现数据没了，才回头查链路——那时候才想起，当初判的那个"通过"，根本没有证据撑着。所以我一直觉得，评测系统和打分器最大的区别就在这：打分器追求给出一个结论。评测系统先确认——这个结论，到底有没有证据撑得住。你们的 Agent 评测，现在在第几档？#Agent评测 #AI质量 #LLM #质量工程
发布于 北京
1
评论
赞
未登录
友善发言
评论
加载中
