第四层：执行验证层集成美团到店自研的AUITestAgent，实现自然语言用例的自动化执行AUITestAgent通过多模态模型识别UI元素，自动完成交互和校验执行结果自动回传，失败用例自动标记AUITestAgent是我们和复旦大学周扬帆教授团队联合开发的智能化终端测试工具。它的核心特点是交互与检查解耦的双流结构——先把测试需求分解成交互指令和校验指令，再分别执行。这就意味着，AI生成的差异化用例不需要人工转成脚本，直接以自然语言形式交给AUITestAgent就能跑。五、踩过的坑（说三个最痛的）坑一：AI“学会”了错误的数据模式初期，我们直接把各城市的POI数据喂给AI，让它“自己分析”。结果AI学到的不仅是“正常的数据分布”，还有“历史数据里的脏数据模式”。举个例子：某个城市的历史POI数据里，有大量“营业时间为空”的记录——不是业务规则如此，是历史数据迁移时的遗留问题。AI分析后认为“这个城市的营业时间就是经常为空”，于是在生成测试用例时，把“营业时间为空”当成了正常情况，没有生成异常测试用例。解法：在数据喂给AI之前，先做一轮数据质量清洗——把已知的数据问题标注出来，告诉AI“这些是脏数据，不是业务规则”。同时用人工标注的高质量数据集做Few-shot示例，教会AI“什么才是正常的数据模式”。坑二：城市分类太粗，丢了细节第一版我们把城市分成了4类，但很快发现问题——同一类型的城市，细节差异依然很大。同样是“三四线城市”，有的城市有“本地特色榜单”，有的城市完全没有榜单功能。用同一套模板生成用例，要么漏测，要么生成无效用例。解法：从“硬分类”改成“软标签”体系。每个城市不是属于“某一类”，而是有一组标签——has_rank_list: true、has_review_system: true、data_completeness: high。AI根据标签组合动态生成用例，而不是套用固定模板。本文部分内容参考了霍格沃兹测试开发学社整理的相关技术资料，主要涉及软件测试、自动化测试、测试开发及 AI 测试等内容，侧重测试实践、工具应用与工程经验整理。
发布于 北京
2
1
赞
未登录
友善发言
评论
加载中
