第二周：业务规则成了AI的“死穴”登录搞定了，我们开始测试核心业务——电商下单流程。这个流程涉及：商品选择、库存锁定、优惠券计算、支付、订单生成、库存扣减。我输入：“验证用户能用优惠券下单成功。”Agent执行了。它成功选了商品、加了购物车、填了优惠券、提交了订单。看起来一切正常。但我在后台一看——优惠券的金额算错了。Agent的“断言”只验证了“订单生成成功”，没有验证“金额计算正确”。它看到订单生成了，就判定为“通过”。AI没有业务常识。它不知道“优惠券应该抵扣多少钱”是一个需要验证的核心逻辑。更糟的是，我们的优惠券规则很复杂——满减、折扣、叠加、互斥、品类限制。AI完全搞不懂这些规则之间的依赖关系，生成的用例覆盖的全是“表面路径”，真正容易出问题的边界场景一个都没覆盖到。第三周：外包团队走了，问题来了第三周，外包团队正式离场。交接时间只有一周，很多隐性的业务知识根本来不及传递。结果就是——AI Agent跑过的“全量回归”，遗漏了至少30%的关键场景。第四周，线上出了一个P2故障。原因是：一个商品参与了“第二件半价”活动，AI生成的测试用例只验证了“购买一件”的场景，“购买两件”的场景完全没覆盖。这个场景在外包团队手里，是必测项。但AI不知道。三、那个让我失眠的数据对比一个月后，我做了一组对比数据：四、转折：我们做对了三件事第二个月，我们没有放弃AI Agent，但彻底调整了策略。第一件事：AI Agent + 人工“混合模式”我们保留了两个资深测试工程师（从外包里转正了两个），让他们和5个AI Agent协同工作。AI Agent负责：冒烟测试、回归测试的“粗筛”、简单场景的自动化执行人类测试负责：复杂业务场景的用例设计、AI生成用例的审核和补充、边界场景的探索式测试分工变了，效果立刻不一样。AI Agent跑完一轮回归后，人类测试花2-3小时审核结果、补充遗漏场景、修正错误断言。效率比纯人工高，质量比纯AI高。本文部分内容参考了霍格沃兹测试开发学社整理的相关技术资料，主要涉及软件测试、自动化测试、测试开发及 AI 测试等内容，侧重测试实践、工具应用与工程经验整理。
发布于 北京
2
评论
赞
未登录
友善发言
评论
加载中
