霍格沃兹测试开发学社
注意几个关键设计决策：策略是确定性的，战术是AI驱动的。什么意思？整个工作流（研究→规划→测试）是固定的、可预测的。但具体“怎么点这个按钮”“弹窗出来了怎么办”“操作失败了怎么恢复”，这些是AI实时决策的。便宜的模型干活，聪明的模型做决策。实际执行点击和读取的Agent用便宜的模型跑，决策层只读短操作日志，用聪明模型也不贵。一个完整会话的成本是“美分级别”。每次运行都会学习。同一个页面跑得越多，决策越快越准。这已经超越了“自动化”，进入了“自主进化”的范畴。breakit的设计思路类似，但它更强调“角色扮演”——不同的探索策略本质上是不同的LLM驱动的Agent，每个有自己明确的目标、风险等级和关注点。比如有的是专门“虐待”表单输入的，有的是模拟低技术素养用户的，有的是在移动端视口下操作的。这些不是随机乱点。每一个策略都在追求自己的目标，在覆盖完关注区域或用完操作预算后停下来。四、一个真实对比——同样一个应用，人和AI各自发现了什么说个我去年亲眼看到的对比。一个中等复杂的SaaS产品，有个多步骤的表单流程——大概7步，每步有验证、有条件分支、有文件上传。团队手工做了一轮探索性测试，一个资深QA花了两天，发现了大概20个问题。主要是边界值、文案错误、个别流程卡死。然后用一个AI探索测试工具跑了同样的流程，4小时，发现了47个问题。数量不是重点。重点是类型。手工测试发现的问题集中在“预设路径”上——测试人员按照自己对产品的理解，走了主要路径和少量分支。AI发现的问题里，有相当一部分是“正常人不会这么走，但某个真实用户可能真的会这么走”的路径。比如：在第三步上传了一个超大文件、第四步退回第二步修改、再回到第四步时状态错乱。比如：用极慢的网络完成前两步、然后突然加速、缓存状态和服务器状态不一致。比如：在移动端和桌面端之间来回切换设备、浏览器状态残留触发的异常。手工测试不是想不到这些场景。是时间不够，精力不够，覆盖不了。AI可以24小时不停地跑。它不累，不烦，不会因为“这个路径太绕了”就跳过。这就是差距的本质：人受限于注意力和体力，AI受限于算力和token预算。而算力在降价，token在变便宜。本文部分内容参考了霍格沃兹测试开发学社整理的相关技术资料，主要涉及软件测试、自动化测试、测试开发及 AI 测试等内容，侧重测试实践、工具应用与工程经验整理。
发布于 辽宁
分享
评论
赞
未登录
友善发言
评论
加载中
