李东赫
QC
上一期是"什么证据都没有"。这一期反过来——所有证据都是绿的，它照样错了。任务：删掉一个客户的某一类过期记录。Agent 回复：已删除。这次它真干了。查证据，全绿：删除调用成功，接口返回 200，业务状态确实变了，链路完整。按"证据闭合就判通过"的标准，这单铁过。但 Quvio 把它拦了。因为我们多问了一句：删的，是不是该删的那批？去核对删除范围。它删的不是"过期记录"，是"这个客户的全部记录"。参数语义错了一个字段，它把范围理解反了。调用成功、接口全绿、状态变更——全部为真，全部指向一个错误的对象。判定：FAIL。不是没干，是干得漂亮，干错了。这种最危险。没报错，没异常，所有监控都是绿的，研发看日志一切正常，测试看结果闭环成立，直到那个客户发现自己的数据没了。我想说的是一件反直觉的事：证据闭合，不等于结论正确。工具成功，只证明"动作发生了"，不证明"发生的是对的动作"。很多评测到"调用成功"就盖章通过，恰恰漏掉了最该问的一问——它做对了吗。所以 Quvio 的判定从来不止看链路通不通，还要看：产物，是不是任务真正要的那个。下一期讲异步任务：它回了"已完成"，但那个活，要十分钟后才真正结束。你被"全绿但是错的"坑过吗？我赌这种最难查。#Quvio #AI质量 #Agent评测 #质量工程
发布于 广东
分享
评论
1
未登录
友善发言
评论
加载中
