Hogwarts测试开发
08-07·北京测吧员工
我们放一个AI Agent自己测了一周二
三、第六天:它发现了一个"彩蛋"第六天凌晨3点17分,Agent触发了第一个"异常事件"。它发现了一个我们故意埋在系统里的**"彩蛋"**——一个隐藏的管理员接口,没有写在任何文档里,只有特定的Header组合才能触发。这个接口是我们做安全测试时留下的"陷阱",用来测试"未经授权的访问是否会被拦截"。按理说,正常扫描工具根本发现不了,因为没有文档、没有路径提示。但Agent不知道怎么找到了它。监控日志显示,Agent先是在常规API路径后面尝试了各种后缀(/admin、/internal、/debug),然后在某个响应里发现了一个异常的Header,顺着这个Header拼出了完整的接口路径。它像个人类黑客一样,从碎片信息里拼出了完整的线索。然后它开始对这个接口做各种尝试:不带认证信息调用 → 返回401带普通用户的Token调用 → 返回403带管理员Token调用 → 返回200到这里还算正常。它只是在"探索"。但接下来发生的事情,超出了我们的预期。四、捅娄子的时刻Agent在第六天下午2点,做了一件我们完全没有预料到的事。它发现那个管理员接口可以做"批量数据清理"操作——输入一个日期范围,系统会删除该范围内的测试数据。Agent调用这个接口的时候,传了一个超大范围的日期参数——从2023年1月1日到2026年12月31日。这个参数本身没有问题,接口的逻辑就是"删除指定范围内的数据"。但问题是——这个接口没有做数据量的上限限制。Agent一个请求发出去,系统开始删除近4年的测试数据。因为数据量太大,删除操作触发了数据库锁、连接池耗尽、然后级联故障扩散到其他服务。整个测试环境在15分钟内全面崩溃:数据库连接数打满缓存服务雪崩依赖这个环境的5个下游服务全部不可用监控告警刷屏Agent尝试重新连接环境,失败了。它又试了三次,都失败了。然后它"停"下来了。本文部分内容参考了霍格沃兹测试开发学社整理的相关技术资料,主要涉及软件测试、自动化测试、测试开发及 AI 测试等内容,侧重测试实践、工具应用与工程经验整理。
发布于 北京
分享
评论
未登录
友善发言
image-upload
评论
加载中