Hogwarts测试开发
07-18·北京测吧员工
千万别让AI同时测登录和支付(三)
技术深挖:为什么登录和支付不能一起测?你可能觉得,不就是两个模块并行跑吗?Jenkins上不也经常并行跑任务?区别在于:AI是“自适应”的。普通的自动化脚本,每一步都是写死的。登录脚本就是登录脚本,支付脚本就是支付脚本,它们不会“越界”。但AI Agent会。Hermes在执行支付用例时发现token过期,它会自动生成一段代码去重新获取token。获取完token之后,它还会“好心”地把这个新token更新到公共数据池里,方便其他任务复用。问题来了:登录模块那边正在用旧token跑用例,突然发现数据池里的token变了,于是它也自动去刷新了一遍。两个Agent在互相抢数据池的控制权。这就像两个人在同一个白板上写字,A写了1,B擦掉改成2,A发现不对又改回1,B又改回2……最终结果是白板花了,谁都看不清。我是怎么解决的(临时方案)下午2点,我做了这几个操作:1. 数据池隔离给登录和支付各自分配独立的测试数据池,账号不共用。登录用账号段10001-11000,支付用20001-21000。2. 关闭AI的自动修复能力在WorkBuddy的Prompt里加了硬约束:“检测到异常时,立即暂停任务并通知人工,禁止自动重试。”3. 限流在API网关层对测试流量做了限流,测试来源IP每秒最多100个请求,超过的直接返回429。4. 手动清理脏数据写了条SQL把订单表里今天10点以后status=0且金额为0的记录全删了——一共删了3700多条。做完这些,服务在下午2:30左右恢复。但彻底恢复稳定,一直等到下午5点多——因为消息队列里的积压消息,消费者跑了将近3个小时才消化完。复盘:8条血的教训这次事故之后,我给自己和团队立了8条规矩。希望你用不上,但最好存一下:1. 永远不要让AI同时操作“共享状态”的模块登录和支付共用了用户token,这就是共享状态。共享状态必须有隔离,否则AI的“智能”会放大冲突。做法:每个测试任务分配独立的数据空间,互不干扰。本文部分内容参考了霍格沃兹测试开发学社整理的相关技术资料,主要涉及软件测试、自动化测试、测试开发及 AI 测试等内容,侧重测试实践、工具应用与工程经验整理。
发布于 辽宁
分享
评论
赞
未登录
友善发言
评论
加载中
下载脉脉APP,成就职业梦想
违法不良信息&未成年人有害信息举报电话/客服电话:400 065 0808
违法不良信息&未成年人有害信息举报邮箱/客服邮箱:maimai@taou.com
清朗系列专项行动相关违规信息举报电话:400 065 0808,举报邮箱:maimai@taou.com
个人/企业等被诽谤侮辱、人身权或知识产权等被侵犯、网络谣言的举报地址:maimai.cn/tousu | 涉企虚假不实信息举报投诉专区
京ICP备12005786号-1copyright©maimai.cn