最近跟几个同学交流了一下几个大厂的面试难点分享给大家之前做过接口自动化测试，如果换成大模型 API，传统接口自动化测试还有哪些地方适用，哪些地方不适用？同一个 Prompt 调用大模型 10 次，可能返回 10 个不同答案，那自动化测试怎么判断这 10 个结果是不是都正确？如果测试一个 AI 问答系统，你会从哪些维度设计测试用例？除了功能正确性，还会关注什么？RAG 场景下，模型回答错误，你怎么判断到底是知识库没召回，还是召回了但模型没用对？如果让你测试一个 AI Agent，你觉得最容易出现哪些问题？你会重点测哪些场景？大模型上线前一般怎么做回归测试？如果模型升级后，有些指标提升了，但另外一些场景变差了，你怎么处理？如果产品要求模型回答必须“有依据、不能胡编”，作为测试开发你会怎么设计这类测试？传统自动化测试大量使用断言，那么在 AI 测试中你认为“断言”应该怎么做？有没有可能让大模型自己当裁判？评论区回复：【AI测试开发】 发送完整面经
发布于 湖北
6
43
6
未登录
友善发言
评论
加载中
