RAG 優化怎麼做：回答不準的 bad case 歸因排查提示詞（逐條定位是切分、召回、排序還是生成的問題）
RAG 問答系統上線後收到一批「答錯了」「沒答到點上」「明明有文檔卻說不知道」的反饋，不知道該先調哪裏時用：把每條失敗案例的問題、檢索到的片段、最終回答和正確答案貼給 AI，它逐條沿着鏈路定位故障環節，再彙總出最值得先改的兩三件事。
通用大模型 對話模型通用
我有一批檢索增強生成（RAG）系統的失敗案例，請幫我逐條定位原因，再彙總出改進優先級。請只根據我提供的記錄來判斷，記錄不足以判斷時說明還需要看什麼，不要猜。 系統流程：[系統流程]（例如：原始問題 → 查詢改寫 → 向量檢索取 20 → 重排序取 5 → 生成） 知識庫的切分方式：[切分方式] 失敗案例（每條包含：用戶問題、改寫後的查詢、檢索返回的片段及排名、最終回答、正確答案及其所在文檔位置）： [失敗案例記錄] 對每一條案例，沿着鏈路從前往後檢查，在第一個出問題的環節停下並給出結論： 1. 知識庫裏到底有沒有答案？ - 沒有 → 歸為「知識缺口」。再看系統是否如實說了不知道：編了答案的，同時記一條「該拒答未拒答」。 2. 有答案，但含答案的內容在入庫時是否完整？ - 答案被切成兩半、表格被打散、標題與正文分離 → 「切分問題」。 3. 入庫完整，但初步召回的結果裏沒有它？ - 查詢與文檔用詞差異大、問題裏的編號或專有名詞沒匹配上、查詢改寫把關鍵資訊改丟了 → 「召回問題」，並指出是哪種。 4. 召回了，但沒進入最終送給模型的前幾條？ - 「排序或截斷問題」。 5. 送給模型了，但回答沒用上或用錯了？ - 片段太多太雜被淹沒、多個版本衝突選了舊的、把相近但不同的對象混為一談、回答超出了資料範圍 → 「生成問題」，並指出是哪種。 6. 回答內容其實是對的，但用戶不滿意？ - 太長、沒先說結論、沒給出處、語氣不合適 → 「表達問題」。 輸出： 一、逐條歸因表：案例編號 | 故障環節 | 具體原因 | 證據（引用記錄中的片段或排名）| 建議的改法。 二、彙總：各環節的案例數量與佔比；出現兩次以上的共性原因。 三、改進優先級：最值得先做的 2–3 項，每項說明預計能解決哪些案例、改動成本大小、可能帶來的副作用。 四、驗證方法：改完後應把這批案例連同哪些原本正確的案例一起重跑，防止修好一批又弄壞一批。 五、記錄不足、無法歸因的案例清單，以及需要我補充的日誌字段。
高亮處換成你自己的內容：[系統流程]、[切分方式]、[失敗案例記錄]
ChatGPT Plus 充值
已被複製 0 次
使用說明
這條提示詞的關鍵是「從前往後、在第一個出錯的環節停下」。一條錯誤回答往往看起來像是模型在胡說，但沿鏈路查下去，更常見的原因是它根本沒拿到正確的資料。如果不按順序查，很容易在提示詞上反覆修改，而真正的問題在切分或召回。
需要準備的記錄：每條案例至少要有五樣——用戶原始問題、改寫後的查詢（如有）、檢索返回的片段和排名、最終回答、正確答案及其在哪份文檔哪一段。缺檢索日誌就無法區分「沒召回」和「召回了沒用上」。如果系統現在沒記這些，先加日誌再排查。
怎麼填變量：[失敗案例記錄] 一次貼 5–15 條，太多會分析得粗。[切分方式] 寫實際參數，如「按固定 500 字切、重疊 50 字、不保留標題」，很多切分問題一看參數就能猜到。
常見問題與調整：
- 歸因都落在「生成問題」→ 檢查你貼的檢索片段是否真的包含完整答案；有時片段只含答案的一半，應歸為切分問題。追問：「逐條核對：正確答案的每個要點是否都出現在送給模型的片段中。」
- 想確認某個猜測 → 追問：「針對『查詢改寫丟失型號』這個原因，設計一個只需改一處就能驗證的小實驗。」
- 改進項互相沖突（調大塊長度有利於步驟類問題，卻讓事實類問題的片段變雜）→ 追問：「分別列出這項改動會讓哪類問題變好、哪類可能變差。」
配合使用：系統性的評測集與指標見「RAG 評測怎麼做提示詞」；回答環節的提示詞規範見「RAG 知識庫問答提示詞」。
示例輸出
示例，僅供參考（3 條案例的歸因表節選）
| 編號 | 故障環節 | 具體原因 | 證據 | 建議改法 |
|---|---|---|---|---|
| 1 | 切分問題 | 報銷標準表格被按固定長度切成兩塊，表頭與數據行分離 | 排名第 2 的片段只有數字行，沒有列名 | 表格整體作為一塊，或每行補上表頭 |
| 2 | 召回問題 | 查詢改寫把「A7 Pro」改成了「該型號手機」 | 改寫後的查詢不含型號；前 20 條全是其他型號 | 改寫時保留型號、編號等原詞；增加關鍵詞檢索 |
| 3 | 生成問題 | 新舊兩版制度同時進入前 5 條，回答採用了舊版 | 片段 1 標註 2024 版，片段 3 標註 2026 版 | 入庫保留版本日期，檢索時過濾舊版，並在提示詞中要求以新版為準 |
優先級：先做「改寫保留原詞 + 關鍵詞檢索」，這批案例中有 5 條屬於此類，改動小；其次處理表格切分。
同款作品
用這條提示詞做出來的作品；原作者會因此獲得積分
還沒有同款，來做第一個。
0 條評論
還沒有評論，來搶沙發～