霍格沃兹测试开发学社
3. 工具调用测试“小微”真正厉害的地方，不是回答问题，而是调用工具完成任务。它可以调微信原生能力，也可以调小程序能力。未来企业里的 AI Agent 也是一样。它可能调用 CRM、工单系统、知识库、订单系统、支付系统、审批系统。这时候测试要重点关注：工具有没有选错参数有没有填错接口有没有重复调用超时有没有兜底失败有没有回滚敏感操作有没有二次确认执行过程有没有日志结果有没有可追溯AI 回答错一句话，用户可能只是觉得不好用。但 AI 调错一个工具，可能就是事故。4. 权限与隐私测试AI Agent 只要接入真实业务系统，就一定会遇到权限问题。比如：普通员工能不能让 AI 查询部门所有人的数据？销售能不能让 AI 读取客户合同？外部群聊能不能让 AI 总结内部文件？AI 能不能根据聊天记录生成用户画像？AI 记忆功能能不能关闭？这些都不是传统 UI 测试能完全覆盖的。AI 时代的权限测试，要更细。不只是看有没有权限，还要看：用户是否明确知道授权了什么。AI 是否只使用必要数据。AI 是否能在越权场景下拒绝。AI 是否会通过上下文间接泄露数据。这类问题，未来会越来越重要。5. AI 输出质量测试AI 的输出不是固定答案。比如总结一篇文章，可能每次表达都不一样。帮用户写回复，也可能有多种合理结果。这时候测试不能再简单依赖“预期结果完全一致”。而是要建立评估标准。6. Skill / MCP 调用测试小程序 Skill 化以后，测试对象会进一步变化。过去我们测小程序，主要测页面、按钮、表单、跳转、支付、订单。未来还要测：Skill 描述是否清楚参数定义是否准确原子接口是否稳定原子组件展示是否完整AI 是否能正确识别这个 Skill 的能力边界多个 Skill 能力相似时，AI 会不会选错参数缺失时，AI 是追问还是乱填执行失败时，是否有兜底方案这类测试以前很少出现在普通测试岗位里。但未来会越来越常见。因为企业内部系统也会走这条路。客服 Agent、销售 Agent、运营 Agent、数据分析 Agent、测试 Agent，本质上都需要调用一堆工具。只要 AI 能调工具，就一定需要测试工具调用链路。
发布于 北京
分享
评论
赞
未登录
友善发言
评论
加载中
