RAG 知識庫怎麼搭:文檔切分與檢索方案設計提示詞(切塊策略、元數據、混合檢索、重排序,按你的文檔類型定)

準備給企業文檔、產品手冊、制度或客服記錄搭 RAG 知識庫,不確定文檔怎麼切、塊多大、要不要混合檢索和重排序時用:描述文檔類型和典型問題,得到一份分文檔類型的切分與索引方案、需要儲存的元數據清單,以及先用哪 20 個問題驗證方案。

NNathaniel bigo··原創首發·AI 輔助撰寫
通用大模型 對話模型通用
請你作為做過多個檢索增強生成(RAG)項目的工程師,為我的知識庫設計「文檔入庫與檢索」方案。先理解文檔和問題的特點,再給方案;不要一上來就推薦固定的塊大小。

知識庫裏的文檔類型與規模:[文檔類型與規模]
文檔的格式與結構特點:[格式與結構特點](例如:帶多級標題的 Word、掃描 PDF、含大量表格、問答對、聊天記錄)
用戶會問的典型問題(5–10 個真實例子):
[典型問題]
回答需要的特點:[回答要求](例如:必須給出處、要最新版本、要跨文檔彙總)
更新頻率與權限要求:[更新與權限]
已有的技術條件:[技術棧與限制]

請按順序輸出:

一、問題畫像:把我的典型問題歸類(事實查找 / 步驟操作 / 對比彙總 / 需要多處資訊拼合 / 精確匹配編號或術語),說明每類問題對檢索的要求。

二、切分方案(按文檔類型分別給):
- 切分依據:按標題層級、按段落、按問答對、按表格整體,還是固定長度加重疊;說明理由。
- 塊的大致長度範圍與重疊量,給出的是起始值,並說明用什麼現象判斷該調大還是調小。
- 表格、圖片說明、代碼塊、頁眉頁腳、目錄分別怎麼處理。
- 每個塊要不要帶上「所屬文檔標題 + 章節路徑」作為前綴,幫助脫離上下文也能讀懂。

三、元數據設計:每個塊應儲存的字段(如文檔名、章節路徑、版本與更新日期、適用範圍、權限標籤、原文位置),以及各字段在過濾、排序、引用出處時怎麼用。

四、檢索方案:
- 僅向量檢索、僅關鍵詞檢索、還是兩者混合;針對我的問題畫像說明理由(例如編號、型號、專有名詞多時關鍵詞檢索的價值)。
- 是否需要重排序、召回多少條再精選多少條(給起始值)。
- 是否需要查詢改寫、多路查詢或按元數據先過濾。
- 同一內容多個版本並存時如何只取最新。

五、最小驗證計劃:建議我先準備的 20 個測試問題應覆蓋哪些類型(含 3–5 個知識庫裏沒有答案的問題),以及每個問題要記錄什麼(應命中的文檔與段落)。

六、先不要做的事:哪些複雜方案(如知識圖譜、多級索引、智能體式檢索)在驗證前不建議上,以及什麼信號出現時再考慮。

凡是需要通過測試才能確定的數值,請明確標註「起始值,需用測試問題驗證」,不要說成定論。

高亮處換成你自己的內容:[文檔類型與規模]、[格式與結構特點]、[典型問題]、[回答要求]、[更新與權限]、[技術棧與限制]

ChatGPT Plus 充值

已被複製 0 次

使用說明

為什麼先問「問題」再定「切法」:切分沒有通用的最佳參數。問步驟操作的,要把一整段步驟留在同一個塊裏;查編號和型號的,關鍵詞檢索比向量檢索更可靠;要跨文檔彙總的,單靠檢索幾個片段往往不夠。所以提示詞要求先做問題畫像,再分文檔類型給方案,並把所有數值都當作起始值。

怎麼填變量:[典型問題] 一定要貼真實的問法(從客服記錄、搜尋日誌、同事提問裏抄),而不是自己想像的規範問題。[格式與結構特點] 裏如實寫出麻煩的地方:掃描件、合併單元格的表格、一個文件裏夾着多個版本。[更新與權限] 如「制度每季度修訂,舊版需下線;薪酬文件僅 HR 可查」。

常見問題與調整:

  • 給的方案太全、不知道先做哪步 → 追問:「按一個人兩週能完成的範圍,給出第一版只做什麼。」
  • 表格檢索效果差 → 追問:「針對含合併單元格的表格,給出三種處理方式的優缺點:整錶轉 Markdown、按行展開成句子、表格單獨摘要後入庫。」
  • 想比較兩種切分 → 追問:「設計一個對照實驗:同一批測試問題,在兩種切分下分別記錄哪些指標。」

配合使用:模型拿到檢索結果後怎麼回答、怎麼標註出處,見本站「RAG 知識庫問答提示詞」;上線前怎麼系統評測,見「RAG 評測怎麼做提示詞」。

示例輸出

示例,僅供參考(文檔:約 300 份帶多級標題的產品手冊與 FAQ;典型問題多為「某型號怎麼設定某功能」)

問題畫像:約七成是「步驟操作」,且問題裏帶具體型號;兩成是「事實查找」(參數、兼容性);少量是跨型號對比。

切分方案(產品手冊)

  • 按標題層級切到「一個操作任務」為一塊,步驟列表不拆開;過長的章節再按二級小標題細分。
  • 塊長度起始值:300–800 字(起始值,需用測試問題驗證);若發現回答常缺少後半段步驟,說明塊被切碎了,應調大。
  • 每塊前綴加「型號 / 手冊名 / 章節路徑」。

檢索方案:混合檢索。型號是精確字符串,向量檢索容易把相近型號混在一起;先按型號元數據過濾,再做向量加關鍵詞檢索,召回 20 條後重排序取 5 條(起始值)。

先不要做:知識圖譜。等出現大量「哪些型號都支持某功能」這類跨文檔彙總問題且現有方案答不好時再考慮。

同款作品

用這條提示詞做出來的作品;原作者會因此獲得積分

做同款

還沒有同款,來做第一個。

Nathaniel 的更多內容

同主題

同模型

0 條評論

登入 後參與評論

還沒有評論,來搶沙發~