李东赫
全面质量管理TQM
很多 Agent 评测，判通过的标准其实很松：工具调成功了，接口返回 200，没报错——通过。我以前也这么干，直到被坑了几次。接口成功，只说明一件事：动作发生了。它不说明这个动作是对的，不说明产物是任务真正要的那个，更不说明业务状态真的变成了该有的样子。举个我碰到的：Agent 要删一批过期数据，调用成功、接口全绿、状态也变了。按"调用成功就通过"，这单铁过。但它删的不是过期数据，是那个客户的全部数据——参数理解反了。所有信号都是绿的，全指向一个错的对象。这种最可怕。没报错、没异常、监控一片绿，研发以为正常，测试以为闭环，老板以为可靠，直到客户发现数据没了，才回头查链路。所以我越来越确信一件事："调用成功"和"任务完成"，是两码事。把前者当后者，就是在自欺欺人——你以为评测在保护你，其实它在帮失败盖章。一个 Agent 到底有没有完成任务，至少要分三层看：动作有没有发生（调用层）、产物对不对（结果层）、业务状态变没变成该有的样子（业务层）。只看第一层就判通过，等于只检查了"它动了没"，没检查"它对了没"。这也是我做评测时的底线：证据不闭合，不判通过；该判失败的判失败，判不了的标记不可判定。评测的价值不是给个结论，是先确认——这个结论，到底有没有证据撑得住。你们判 Agent 通过，看到"调用成功"就盖章，还是会往后多查两层？#Agent评测 #AI质量 #LLM #质量工程
发布于 广东
分享
2
1
未登录
友善发言
评论
加载中
