RAG 評測怎麼做：檢索與回答分開評的評測集和指標設計提示詞（命中率、忠實度、答案正確性、拒答）
RAG 知識庫問答做出來了，但說不清效果到底好不好、改了切分或換了模型後是變好還是變差時用：讓 AI 幫你設計一套把「檢索」和「生成」分開評的評測方案——測試集怎麼構造、每條記錄哪些字段、用哪些指標、怎麼讓人工與模型評分配合、多少分才能上線。
通用大模型 對話模型通用
請幫我為一個檢索增強生成（RAG）問答系統設計評測方案。目標是：每次改動後，能用同一套測試集判斷是變好還是變差，並能分清問題出在檢索還是出在生成。 系統用途與用戶：[系統用途與用戶] 知識庫內容與規模：[知識庫內容與規模] 當前流程：[當前流程]（例如：查詢改寫 → 混合檢索取 20 → 重排序取 5 → 生成並標註出處） 可投入的人力與時間：[人力與時間] 最不能接受的錯誤：[最不能接受的錯誤]（例如：編造政策條款、引用過期版本） 請輸出： 一、測試集設計 1. 問題類型配比：單點事實、步驟類、需要多處資訊拼合、對比彙總、表述口語化或有錯別字、知識庫中沒有答案、問題本身有歧義、涉及已過期版本。給出每類的建議數量，總量控制在我的人力能標註的範圍內。 2. 每條測試用例要記錄的字段：問題、參考答案要點（列要點而不是整段範文）、應命中的文檔與段落標識、問題類型、難度、是否應當拒答。 3. 問題從哪裏來：真實日誌抽樣、業務專家出題、讓模型依據文檔生成後人工篩選；說明各自的偏差，以及如何避免「照着文檔原話出題」導致分數虛高。 二、檢索環節指標 - 命中率（前 k 條裏是否包含應命中的段落）、排序位置類指標，分別回答什麼問題；k 取多少應與實際送入模型的條數一致。 - 對「知識庫中沒有答案」的問題，檢索環節應記錄什麼。 三、生成環節指標 - 忠實度：回答中的每個事實陳述是否都能在檢索到的資料中找到依據； - 答案正確性：是否覆蓋參考答案要點、有沒有錯誤陳述； - 引用準確性：標註的出處是否確實支持對應的句子； - 拒答是否恰當：該拒答的拒了沒有、不該拒答的有沒有誤拒。 為每個指標寫出判定標準（什麼算通過、什麼算不通過），盡量設計成可以逐條判斷的是非題，而不是 1–10 的印象分。 四、評分方式 - 哪些指標可以用程序自動算，哪些需要模型評分，哪些必須人工抽檢； - 用模型評分時，評分提示詞應包含哪些內容，如何用一小批人工標註來校驗模型評分是否可信。 五、結果怎麼看 - 一張歸因表：檢索沒命中 / 命中了但排在後面被截斷 / 命中了但回答沒用上 / 回答用了資料外的內容 / 該拒答未拒答，各自對應的改進方向； - 上線門檻怎麼定：結合「最不能接受的錯誤」，給出一種設定通過線的方法，具體數值由我根據業務決定。 六、維護：測試集多久更新、知識庫文檔更新後哪些用例需要同步、如何防止為了提高分數而針對測試集調參。
高亮處換成你自己的內容：[系統用途與用戶]、[知識庫內容與規模]、[當前流程]、[人力與時間]、[最不能接受的錯誤]
ChatGPT Plus 充值
已被複製 0 次
使用說明
核心思路：分開評。RAG 的回答不好，可能是沒檢索到、檢索到了沒排在前面、或者資料齊了但模型沒用好。只看最終答案對不對，沒法知道該改哪裏。所以每條測試用例除了參考答案，還要標出「應命中的文檔與段落」，這樣檢索環節可以單獨算命中率，生成環節再看忠實度和正確性。
怎麼填變量：[當前流程] 寫清每一步和數量，評測時 k 的取值要和實際一致——系統只把前 5 條送給模型，卻按前 20 條算命中率，分數會偏樂觀。[最不能接受的錯誤] 決定通過線怎麼定：有些場景寧可多拒答也不能答錯。
常見問題與調整：
- 標註量太大 → 追問：「如果只能標 50 條，各類型怎麼配比？哪些字段可以先不標？」
- 想用模型自動評忠實度 → 追問：「寫一份評忠實度的評分提示詞：把回答拆成逐條陳述，逐條判斷是否有資料依據，輸出每條的判斷和依據原文。」評分模型的結論要用人工標註抽樣校驗後再信任。
- 分數高但用戶仍不滿意 → 多半是測試集和真實問法不像。追問：「設計一個從線上日誌抽樣補充測試集的流程，以及如何脫敏。」
配合使用：通用的提示詞評測集方法見本站「提示詞評測集怎麼建提示詞」；評分細則怎麼寫見「LLM-as-a-Judge 評分提示詞」；切分與檢索方案設計見「RAG 知識庫怎麼搭」。
示例輸出
示例，僅供參考（系統：公司制度問答；可投入：兩人各兩天）
測試集配比（共 80 條）
| 類型 | 數量 | 說明 |
|---|---|---|
| 單點事實 | 25 | 如「年假最多能結轉幾天」 |
| 步驟類 | 15 | 如「報銷出差住宿費的流程」 |
| 多處資訊拼合 | 10 | 答案分佈在兩份制度裏 |
| 口語化與錯別字 | 10 | 取自真實提問 |
| 知識庫無答案 | 10 | 應當拒答並建議諮詢渠道 |
| 涉及已廢止版本 | 10 | 應採用現行版本並說明 |
歸因表（節選）
| 現象 | 判斷方法 | 改進方向 |
|---|---|---|
| 檢索沒命中 | 前 k 條不含應命中段落 | 查詢改寫、切分、混合檢索 |
| 命中但回答沒用上 | 命中率通過、正確性不通過 | 調整回答提示詞、減少無關片段 |
| 用了資料外內容 | 忠實度不通過 | 收緊「只依據資料」的要求 |
同款作品
用這條提示詞做出來的作品；原作者會因此獲得積分
還沒有同款，來做第一個。
0 條評論
還沒有評論，來搶沙發～