RAG 优化怎么做:回答不准的 bad case 归因排查提示词(逐条定位是切分、召回、排序还是生成的问题)
RAG 问答系统上线后收到一批「答错了」「没答到点上」「明明有文档却说不知道」的反馈,不知道该先调哪里时用:把每条失败案例的问题、检索到的片段、最终回答和正确答案贴给 AI,它逐条沿着链路定位故障环节,再汇总出最值得先改的两三件事。
通用大模型 对话模型通用
我有一批检索增强生成(RAG)系统的失败案例,请帮我逐条定位原因,再汇总出改进优先级。请只根据我提供的记录来判断,记录不足以判断时说明还需要看什么,不要猜。 系统流程:[系统流程](例如:原始问题 → 查询改写 → 向量检索取 20 → 重排序取 5 → 生成) 知识库的切分方式:[切分方式] 失败案例(每条包含:用户问题、改写后的查询、检索返回的片段及排名、最终回答、正确答案及其所在文档位置): [失败案例记录] 对每一条案例,沿着链路从前往后检查,在第一个出问题的环节停下并给出结论: 1. 知识库里到底有没有答案? - 没有 → 归为「知识缺口」。再看系统是否如实说了不知道:编了答案的,同时记一条「该拒答未拒答」。 2. 有答案,但含答案的内容在入库时是否完整? - 答案被切成两半、表格被打散、标题与正文分离 → 「切分问题」。 3. 入库完整,但初步召回的结果里没有它? - 查询与文档用词差异大、问题里的编号或专有名词没匹配上、查询改写把关键信息改丢了 → 「召回问题」,并指出是哪种。 4. 召回了,但没进入最终送给模型的前几条? - 「排序或截断问题」。 5. 送给模型了,但回答没用上或用错了? - 片段太多太杂被淹没、多个版本冲突选了旧的、把相近但不同的对象混为一谈、回答超出了资料范围 → 「生成问题」,并指出是哪种。 6. 回答内容其实是对的,但用户不满意? - 太长、没先说结论、没给出处、语气不合适 → 「表达问题」。 输出: 一、逐条归因表:案例编号 | 故障环节 | 具体原因 | 证据(引用记录中的片段或排名)| 建议的改法。 二、汇总:各环节的案例数量与占比;出现两次以上的共性原因。 三、改进优先级:最值得先做的 2–3 项,每项说明预计能解决哪些案例、改动成本大小、可能带来的副作用。 四、验证方法:改完后应把这批案例连同哪些原本正确的案例一起重跑,防止修好一批又弄坏一批。 五、记录不足、无法归因的案例清单,以及需要我补充的日志字段。
高亮处换成你自己的内容:[系统流程]、[切分方式]、[失败案例记录]
ChatGPT Plus 充值
已被复制 0 次
使用说明
这条提示词的关键是「从前往后、在第一个出错的环节停下」。一条错误回答往往看起来像是模型在胡说,但沿链路查下去,更常见的原因是它根本没拿到正确的资料。如果不按顺序查,很容易在提示词上反复修改,而真正的问题在切分或召回。
需要准备的记录:每条案例至少要有五样——用户原始问题、改写后的查询(如有)、检索返回的片段和排名、最终回答、正确答案及其在哪份文档哪一段。缺检索日志就无法区分「没召回」和「召回了没用上」。如果系统现在没记这些,先加日志再排查。
怎么填变量:[失败案例记录] 一次贴 5–15 条,太多会分析得粗。[切分方式] 写实际参数,如「按固定 500 字切、重叠 50 字、不保留标题」,很多切分问题一看参数就能猜到。
常见问题与调整:
- 归因都落在「生成问题」→ 检查你贴的检索片段是否真的包含完整答案;有时片段只含答案的一半,应归为切分问题。追问:「逐条核对:正确答案的每个要点是否都出现在送给模型的片段中。」
- 想确认某个猜测 → 追问:「针对『查询改写丢失型号』这个原因,设计一个只需改一处就能验证的小实验。」
- 改进项互相冲突(调大块长度有利于步骤类问题,却让事实类问题的片段变杂)→ 追问:「分别列出这项改动会让哪类问题变好、哪类可能变差。」
配合使用:系统性的评测集与指标见「RAG 评测怎么做提示词」;回答环节的提示词规范见「RAG 知识库问答提示词」。
示例输出
示例,仅供参考(3 条案例的归因表节选)
| 编号 | 故障环节 | 具体原因 | 证据 | 建议改法 |
|---|---|---|---|---|
| 1 | 切分问题 | 报销标准表格被按固定长度切成两块,表头与数据行分离 | 排名第 2 的片段只有数字行,没有列名 | 表格整体作为一块,或每行补上表头 |
| 2 | 召回问题 | 查询改写把「A7 Pro」改成了「该型号手机」 | 改写后的查询不含型号;前 20 条全是其他型号 | 改写时保留型号、编号等原词;增加关键词检索 |
| 3 | 生成问题 | 新旧两版制度同时进入前 5 条,回答采用了旧版 | 片段 1 标注 2024 版,片段 3 标注 2026 版 | 入库保留版本日期,检索时过滤旧版,并在提示词中要求以新版为准 |
优先级:先做「改写保留原词 + 关键词检索」,这批案例中有 5 条属于此类,改动小;其次处理表格切分。
同款作品
用这条提示词做出来的作品;原作者会因此获得积分
还没有同款,来做第一个。


0 条评论
还没有评论,来抢沙发~