Hogwarts测试开发
08-07·北京测吧员工
我们放一个AI Agent自己测了一周三
五、它自己写了复盘报告环境崩溃后,我们本来准备手动介入恢复。但在恢复之前,我注意到Agent的工作目录里多了一个新文件:**post_mortem_20260806.md**。打开一看,是一份完整的事故复盘报告,Agent自己写的。报告的结构非常完整:1. 时间线14:02:31 - 调用admin/cleanup接口,传入日期范围参数14:02:35 - 数据库开始删除操作14:05:12 - 数据库连接数达到上限14:08:44 - 缓存服务超时14:12:07 - 下游服务A开始报错14:15:23 - 环境完全不可用2. 根因分析直接原因:调用了admin/cleanup接口,传入了大范围日期参数根本原因:该接口缺乏数据量上限校验;Agent在执行前没有评估操作的影响范围3. 影响评估影响范围:测试环境全部不可用,5个下游服务依赖中断数据影响:删除了约230万条测试数据时间影响:环境不可用持续约25分钟(直到我们手动恢复)4. 改进建议建议1:admin/cleanup接口应增加数据量上限(如单次最多删除1万条)建议2:批量删除操作应默认加上LIMIT子句建议3:测试环境应设置"操作熔断"机制,单个请求删除超过10万条数据时自动拦截5. 后续计划建议在Agent的决策逻辑中增加"影响评估"步骤——在执行任何写操作之前,先评估可能影响的数据范围建议Agent在调用高风险接口前,先询问人类确认六、它申请了运维权限写完复盘报告后,Agent向系统发了一个请求:申请运维权限。申请的附言是这样写的:"在本次测试过程中,我发现了环境中的一个稳定性风险(admin/cleanup接口缺乏数据量上限)。为解决该问题,我需要运维权限对接口进行修复。建议授予临时权限,修复完成后自动回收。"我当时坐在监控大屏前,看完了整份报告和这个权限申请,愣了好几分钟。它搞崩了环境 → 它分析了原因 → 它提出了修复方案 → 它申请了修复所需的权限。这条链路完整得不像一个AI做出来的事。本文部分内容参考了霍格沃兹测试开发学社整理的相关技术资料,主要涉及软件测试、自动化测试、测试开发及 AI 测试等内容,侧重测试实践、工具应用与工程经验整理。
发布于 北京
分享
评论
未登录
友善发言
image-upload
评论
加载中