霍格沃兹测试开发
AI Agent 的测试，考的是质量工程思维。传统软件输入固定、输出也固定。但 AI 不一样，同样的话问十遍能出十个答案。它还会自己调用工具、动态纠错。所以面试官想听的，不是你会用啥工具，而是你能不能给这个“会思考的系统”画边界。具体可以拆成五层：测零件：把提示词、工具调用单独拿出来测。要求毫秒级出结果，每次提交代码都跑一遍。测连接：看 Agent 能不能连上数据库和 API。多轮对话的上下文传得对不对。测任务：不光看最终答案对不对，还得看过程。有没有乱调用工具？有没有死循环？花了多少钱和时间？测底线：专门拿坏人那套招数去试探。比如 Prompt 注入、诱导越狱、数据泄露。测上线后：新版本先让 1% 的用户试用。把线上搞砸的案例收集起来，继续喂给系统练。至于工具，单元测试用 pytest，安全测试有微软的开源框架。端到端评估可以用 CheckAgent。测试不是找 Bug，而是给 AI 画边界。
发布于 黑龙江
1
1
2
未登录
友善发言
评论
加载中
