RAG 评测怎么做：检索与回答分开评的评测集和指标设计提示词（命中率、忠实度、答案正确性、拒答）
RAG 知识库问答做出来了，但说不清效果到底好不好、改了切分或换了模型后是变好还是变差时用：让 AI 帮你设计一套把「检索」和「生成」分开评的评测方案——测试集怎么构造、每条记录哪些字段、用哪些指标、怎么让人工与模型评分配合、多少分才能上线。
通用大模型 对话模型通用
请帮我为一个检索增强生成（RAG）问答系统设计评测方案。目标是：每次改动后，能用同一套测试集判断是变好还是变差，并能分清问题出在检索还是出在生成。 系统用途与用户：[系统用途与用户] 知识库内容与规模：[知识库内容与规模] 当前流程：[当前流程]（例如：查询改写 → 混合检索取 20 → 重排序取 5 → 生成并标注出处） 可投入的人力与时间：[人力与时间] 最不能接受的错误：[最不能接受的错误]（例如：编造政策条款、引用过期版本） 请输出： 一、测试集设计 1. 问题类型配比：单点事实、步骤类、需要多处信息拼合、对比汇总、表述口语化或有错别字、知识库中没有答案、问题本身有歧义、涉及已过期版本。给出每类的建议数量，总量控制在我的人力能标注的范围内。 2. 每条测试用例要记录的字段：问题、参考答案要点（列要点而不是整段范文）、应命中的文档与段落标识、问题类型、难度、是否应当拒答。 3. 问题从哪里来：真实日志抽样、业务专家出题、让模型依据文档生成后人工筛选；说明各自的偏差，以及如何避免「照着文档原话出题」导致分数虚高。 二、检索环节指标 - 命中率（前 k 条里是否包含应命中的段落）、排序位置类指标，分别回答什么问题；k 取多少应与实际送入模型的条数一致。 - 对「知识库中没有答案」的问题，检索环节应记录什么。 三、生成环节指标 - 忠实度：回答中的每个事实陈述是否都能在检索到的资料中找到依据； - 答案正确性：是否覆盖参考答案要点、有没有错误陈述； - 引用准确性：标注的出处是否确实支持对应的句子； - 拒答是否恰当：该拒答的拒了没有、不该拒答的有没有误拒。 为每个指标写出判定标准（什么算通过、什么算不通过），尽量设计成可以逐条判断的是非题，而不是 1–10 的印象分。 四、评分方式 - 哪些指标可以用程序自动算，哪些需要模型评分，哪些必须人工抽检； - 用模型评分时，评分提示词应包含哪些内容，如何用一小批人工标注来校验模型评分是否可信。 五、结果怎么看 - 一张归因表：检索没命中 / 命中了但排在后面被截断 / 命中了但回答没用上 / 回答用了资料外的内容 / 该拒答未拒答，各自对应的改进方向； - 上线门槛怎么定：结合「最不能接受的错误」，给出一种设定通过线的方法，具体数值由我根据业务决定。 六、维护：测试集多久更新、知识库文档更新后哪些用例需要同步、如何防止为了提高分数而针对测试集调参。
高亮处换成你自己的内容：[系统用途与用户]、[知识库内容与规模]、[当前流程]、[人力与时间]、[最不能接受的错误]
ChatGPT Plus 充值
已被复制 0 次
使用说明
核心思路：分开评。RAG 的回答不好，可能是没检索到、检索到了没排在前面、或者资料齐了但模型没用好。只看最终答案对不对，没法知道该改哪里。所以每条测试用例除了参考答案，还要标出「应命中的文档与段落」，这样检索环节可以单独算命中率，生成环节再看忠实度和正确性。
怎么填变量：[当前流程] 写清每一步和数量，评测时 k 的取值要和实际一致——系统只把前 5 条送给模型，却按前 20 条算命中率，分数会偏乐观。[最不能接受的错误] 决定通过线怎么定：有些场景宁可多拒答也不能答错。
常见问题与调整：
- 标注量太大 → 追问：「如果只能标 50 条，各类型怎么配比？哪些字段可以先不标？」
- 想用模型自动评忠实度 → 追问：「写一份评忠实度的评分提示词：把回答拆成逐条陈述，逐条判断是否有资料依据，输出每条的判断和依据原文。」评分模型的结论要用人工标注抽样校验后再信任。
- 分数高但用户仍不满意 → 多半是测试集和真实问法不像。追问：「设计一个从线上日志抽样补充测试集的流程，以及如何脱敏。」
配合使用：通用的提示词评测集方法见本站「提示词评测集怎么建提示词」；评分细则怎么写见「LLM-as-a-Judge 评分提示词」；切分与检索方案设计见「RAG 知识库怎么搭」。
示例输出
示例，仅供参考（系统：公司制度问答；可投入：两人各两天）
测试集配比（共 80 条）
| 类型 | 数量 | 说明 |
|---|---|---|
| 单点事实 | 25 | 如「年假最多能结转几天」 |
| 步骤类 | 15 | 如「报销出差住宿费的流程」 |
| 多处信息拼合 | 10 | 答案分布在两份制度里 |
| 口语化与错别字 | 10 | 取自真实提问 |
| 知识库无答案 | 10 | 应当拒答并建议咨询渠道 |
| 涉及已废止版本 | 10 | 应采用现行版本并说明 |
归因表（节选）
| 现象 | 判断方法 | 改进方向 |
|---|---|---|
| 检索没命中 | 前 k 条不含应命中段落 | 查询改写、切分、混合检索 |
| 命中但回答没用上 | 命中率通过、正确性不通过 | 调整回答提示词、减少无关片段 |
| 用了资料外内容 | 忠实度不通过 | 收紧「只依据资料」的要求 |
同款作品
用这条提示词做出来的作品；原作者会因此获得积分
还没有同款，来做第一个。
0 条评论
还没有评论，来抢沙发～