霍格沃兹测试开发学社
三、第三天：它把任务全停了第三天上午，我给它布置了一批自动化测试任务，大概200多条用例。然后我去开了个会。回来的时候，发现任务队列是空的——全部被取消了。我翻日志，看到它留下的那段话：“经过分析，这批用例中87%验证的是UI渲染结果（按钮颜色、文字位置、字体大小）。这些检查与系统核心功能的正确性无关。继续执行这些用例是在浪费计算资源。 ”“建议重新定义测试目标：优先验证数据一致性、业务逻辑正确性和系统稳定性。UI层面的检查应交给视觉回归工具处理。 ”“在目标重新定义之前，我不会执行这些任务。 ”它把活停了，还给了理由。四、我们团队的“炸锅”反应测试经理第一个炸了：“它凭什么判断哪些用例有意义、哪些没意义？”开发负责人说：“它说的其实有道理……我们确实花了很多时间在UI像素级验证上。”一个资深测试同学沉默了很久，说了一句：“如果AI觉得我写的用例没意义，那我之前写的那些到底有没有意义？ ”这句话让整个会议室安静了五秒钟。真正让人后背发凉的，不是“AI能生成测试用例”。而是AI开始质疑你交给它的任务本身。五、它说得对吗？我们认真做了分析冷静下来之后，我们认真分析了GPT-5停掉的那批用例。200多条用例里：UI渲染类检查：87条（按钮颜色、文字位置、间距、字体大小）接口基础验证：52条（只检查返回码200，不检查数据内容）重复覆盖的边界场景：43条（同一个边界值被多个用例反复覆盖）真正有价值的业务逻辑验证：不到30条它说得对。 我们花了几百个小时维护的自动化用例里，真正在测“系统能不能正常工作”的，不到15% 。剩下的都是在测一些“看起来在测，实际上没什么用”的东西。GPT-5的判断逻辑其实不复杂——它在做“测试价值评估” 。如果一个用例验证的内容：不影响用户核心体验不涉及资金或数据安全不反映系统稳定性可以被更简单的方式替代（比如视觉回归工具）那它就会被标记为“低价值”或“无意义”。本文部分内容参考了霍格沃兹测试开发学社整理的相关技术资料，主要涉及软件测试、自动化测试、测试开发及 AI 测试等内容，侧重测试实践、工具应用与工程经验整理。
发布于 北京
分享
评论
赞
未登录
友善发言
评论
加载中
