logo
登录 / 注册

AI写测试用例,行?一微信红包的真实复盘

头像
小肖
06-10 · 测试工程师
一、背景最近在探索AI辅助测试,拿了一个大家都熟悉的场景来试验:微信红包。目标是让AI生成一份功能测试用例,覆盖发红包、抢红包、查余额等核心流程。结果呢?AI确实快——30秒,洋洋洒洒几十条用例就出来了。但仔细一看,问题很大。二、AI漏掉了什么?我把AI的产出逐条梳理,发现了7类系统性缺陷: 序号 缺失类型 具体表现 1 非功能属性 兼容性、UI的用例,一条都没有 2 边界外交互 第三方银行、第三方支付页面,完全没有覆盖 3 异常流程 密码输一半退出、页面回退等场景,全漏了 4 资金安全 余额一致性校验、资金安全性,一条都没有 5 安全机制 密码锁定场景,完全没有 6 状态一致性 多端同步(手机A发了红包,手机B看到什么),没考虑 7 全生命周期 红包从发出到收下的完整链路,AI只给了“点状”用例三、这个发现让我意识到什么?AI不是不努力,而是它的“默认思维模式”和测试的“完整要求”之间存在结构性缺口:AI默认走快乐路径,异常是“例外” AI默认以系统为边界,不关心第三方 AI默认关注功能正确,不关心体验和适配 AI不知道什么是“重要”——它不知道“钱”的特殊性换句话说:AI产出的永远是“通用答案”,而我们需要的是“业务答案”。四、我总结的方法:AI产出“四问补漏法”每次拿到AI生成的用例,强制自己问四个问题: 追问 核心含义 对应漏掉的场景 非功能呢? 极端环境下还能用吗? 兼容性、弱网、中断 边界外呢? 系统和外部世界的交互呢? 第三方银行、第三方页面 异常呢? 用户不走快乐路径呢? 密码输一半、页面回退 特殊性呢? 这个业务最怕出什么事故? 资金安全、多端一致、密码锁定用完这四问,AI用例的可用率从不到50%提升到了85%以上。五、一个更深的感悟AI可以成为很好的“第一轮输出者”,但它永远不会成为“最后一轮把关者”。以微信红包为例,AI能生成99%的快乐路径用例,但恰恰是那1%它漏掉的——资金安全、多端同步、密码锁定——才是这个产品最致命的风险点。而我们测试人员的核心价值,就是把“重要但罕见”的东西,变成AI的输入。这就是我理解的“人味注入”。六、写在最后如果你也在用AI辅助测试,建议你问自己三个问题:我有没有系统性检查过AI漏掉了什么? 我把这些“漏掉的规律”总结成方法论了吗? 我的团队有没有一套“AI产出校验清单”?AI不是答案,你才是。
AI写测试用例,行?一微信红包的真实复盘脉脉
阅读 4
声明:本文内容由脉脉用户自发贡献,部分内容可能整编自互联网,版权归原作者所有,脉脉不拥有其著作权,亦不承担相应法律责任。如果您发现有涉嫌抄袭的内容,请发邮件至maimai@taou.com,一经查实,将立刻删除涉嫌侵权内容。
全部8条评论
头像
小先生

自动化框架手动重新完成,现在开始研究AI测评方向,感兴趣的可以持续关注,不定时更新

07-24
头像
小先生

AI生成框架之休息整顿篇,他来了,欢迎点击进入查看: 网页链接

07-01
头像
小先生

答应小伙伴们的框架迁移实战文章来了 AI框架迁移美团:新的“喜马拉雅” 欢迎点击进入我的主页查看

06-24
头像
小先生

踩坑心路   网页链接 点击进入个人主页也可查看,欢迎各位大佬批评指正

06-20
头像
小先生

答应大家的AI落地企业级UI自动化架构来了,虽迟但到,历经八个版本,无数个坑的血泪教训,总结不少实战经验和干货。 感兴趣的同行可以点击我的主页,查看动态。

06-16
头像
小先生

感谢大家,3小时426阅读,纯新号,受宠若惊🙏 1️⃣ 点进我主页可以看到完整个人介绍和求职方向,正在看机会,欢迎私信。 2️⃣ 完整校验清单PDF已整理,私信‘四问’我会发你。 3️⃣ 下一篇《AI生成企业级代码框架踩坑实录》本周内发,点个关注不迷路。

06-10
头像
小先生

没想到这么多同行关注😂 补充一下:这四问法最难的其实是第4问‘特殊性’——微信红包最怕资金安全和多端不一致,但如果是电商测试,最怕的可能就是库存超卖和价格错乱。关键是要真的懂业务。有人踩过类似的坑吗?欢迎一起交流。

06-10
头像
宋先生

06-10
头像
我来说几句...