霍格沃兹测试开发学社
四、线下评测：先建立质量基线在线下评测阶段，重点是构建可复用、可对比、可持续迭代的评测体系。其中有两个关键能力。第一个是 评估器设计。评估器不是简单的打分器，而是要把业务规则、工程规范、质量标准和模型判断能力结合起来。不同任务需要不同评估器。比如需求分析任务，关注的是完整性、准确性、歧义识别能力； 测试用例生成任务，关注的是场景覆盖、边界条件、异常路径、可执行性； 代码生成任务，关注的是可读性、可维护性、安全性、规范一致性； Agent 执行任务，关注的是任务拆解、工具调用、状态流转和最终产物质量。第二个是 评测集构建。评测集决定了评测体系的上限。一个好的评测集，不只是堆样本，而是要覆盖真实研发场景中的高频问题、复杂问题、边界问题和历史质量问题。如果评测集只覆盖简单任务，评测结果就很容易“好看但不可信”。所以，线下评测的价值不只是给模型打分，更是帮助团队建立一套稳定的质量基准。有了基线，后续模型升级、Prompt 调整、Skill 改造、Agent 编排优化，才有可靠的对比依据。五、线上评审：用 Skill 驱动实时质量门禁线下评测解决的是基准问题，但 AI 真正运行在研发流程中，还需要线上评审机制。因为真实场景中的输入更复杂，任务更动态，很多风险无法只靠离线评测提前覆盖。这时，线上评审就像一道“盾”。它不是等到最终产物完成后再做一次检查，而是在 AI 执行过程中，通过 Skill 驱动的方式进行实时质量门禁。例如：当 AI 生成需求分析结果时，可以触发规格一致性检查； 当 AI 生成测试用例时，可以触发覆盖率、边界值、异常场景检查； 当 AI 调用工具链执行任务时，可以触发权限、路径、上下文、调用结果校验； 当 AI 输出研发产物时，可以触发规范性、可维护性、安全性评审。这种机制的价值在于：AI 不再是“生成完再说”，而是在生成过程中就被持续约束。这对于企业级 AI 工程落地非常重要。企业真正关心的不是一次 Demo 能不能跑通，而是当 AI 进入真实研发链路后，能不能稳定、可控、可治理。
发布于 北京
1
评论
赞
未登录
友善发言
评论
加载中
