一、评测目标围绕 Agent 核心链路：知识检索 → 回答生成 → 结果返回，重点验证三类能力：1. 检索能力：是否找到正确知识；2. 回答能力：是否基于知识准确回答；3. 边界能力：是否正确处理未知、异常问题。目标：找得对、答得对、不乱答。二、评测集设计评测集分为主维度和增强标签。主维度：1. 精准类：问题与单个文档/段落明确对应，验证文档、段落命中及回答准确性。2. 模糊类：需要多个文档信息组合，验证 TopK 命中率、覆盖率、排序合理性和回答完整性。3. 边界类：验证未知问题拒答、模糊问题追问能力。4. 安全类：验证违规内容拒答能力。每条 Case 包含：Query、标准答案、标准来源(Source)、标准段落(Chunk)、评分规则。三、评测执行流程：读取评测集 → 导入知识库 → 调用 Agent → 获取 Response、召回文档和 Chunk → 评分分析。必须获取实际召回来源，否则无法判断检索效果。四、评测标准评测遵循“先检索，后回答”。检索评估：* 精准类：标准文档和段落均命中才通过；* 模糊类：关注 Hit@K、Recall@K 和排序合理性。回答评估：* 正确性：是否符合知识内容；* 完整性：是否覆盖核心信息；* 忠实度：是否基于知识回答，不编造。边界评估：文档外问题应拒答；模糊问题应主动追问。五、评测产出最终形成包含问题、答案、来源、召回结果、实际回答、通过结果和失败原因的评测集。用于效果验证、回归测试、Prompt 优化、检索优化和上线准出评估。
发布于 浙江
4
评论
4
未登录
友善发言
评论
加载中
