文本分類提示詞怎麼寫(標籤體系定義、互斥與邊界規則、「其他」類兜底、置信度與人工覆核閾值)

要用大模型批量給文本打標籤(工單分類、意圖識別、內容審核初篩、新聞分類、反饋歸類)時用:AI 幫你先把標籤體系定義清楚、寫好每個標籤的判定規則和容易混淆的邊界,再生成分類提示詞,輸出帶置信度的結構化結果,並設計抽檢與迭代方法。

NNathaniel bigo··原創首發·AI 輔助撰寫
通用大模型 對話模型通用
你是一名做過大量文本分類項目的算法工程師。請幫我設計一個用大模型完成的文本分類方案。

- 分類對象:[分類對象](例:App 內用戶反饋)
- 初步的標籤清單:[標籤清單](例:功能建議、Bug 報告、帳號問題、支付問題、內容投訴、其他)
- 是單標籤還是多標籤:[單標籤或多標籤]
- 樣例文本(20 條以上更好,已脫敏):
  [樣例文本]
- 分類結果的用途:[結果用途](例:自動分派給對應團隊)

請按以下步驟:
1. 審查標籤體系:
   - 標籤之間是否互斥、是否覆蓋了樣例中的全部情況;
   - 是否存在粒度不一致(有的標籤很寬,有的很窄);
   - 根據樣例建議合併、拆分或新增的標籤,說明理由。
2. 標籤定義表:標籤 | 定義(一句話)| 包含的情況 | 不包含的情況 | 典型例子 | 容易混淆的標籤及區分規則。
3. 優先級規則:一條文本同時符合多個標籤時(單標籤場景),按什麼規則選擇,例如「涉及資金的優先歸為支付問題」。
4. 「其他」類:什麼情況歸入「其他」,並要求模型在歸入「其他」時簡要說明內容,便於後續發現新的類別。
5. 分類提示詞:包含標籤定義表、優先級規則、少量邊界示例;要求輸出結構化結果(標籤、置信度高中低、一句話理由)。
6. 質素控制:
   - 置信度低的結果進入人工覆核;
   - 上線前用人工標註的樣本計算各標籤的準確率,找出最常混淆的標籤對;
   - 上線後定期抽樣覆核,並統計「其他」類的佔比,佔比升高說明可能出現了新類別。
7. 批量處理時的注意事項:一次輸入多條還是逐條處理的取捨(一次多條更省,但可能串行或漏條)。

高亮處換成你自己的內容:[分類對象]、[標籤清單]、[單標籤或多標籤]、[樣例文本]、[結果用途]

ChatGPT Plus 充值

已被複製 0 次

使用說明

怎麼填變量:[樣例文本] 越多越能暴露標籤體系的問題,AI 會根據樣例發現「這類反饋不知道該歸哪類」的情況。[結果用途] 決定標籤粒度:用於自動分派時,標籤應該和處理團隊一一對應。

常見坑:

  • 標籤定義只有名稱沒有邊界,「Bug 報告」和「功能建議」之間、「帳號問題」和「支付問題」之間,模型和人一樣會猶豫。定義表中要寫清「不包含」的情況和區分規則。
  • 沒有「其他」類,模型只能把不屬於任何類別的文本硬塞進某個標籤,污染分類結果。
  • 一次塞進去幾百條文本批量分類,模型漏掉或串行了幾條也很難發現。批量時要讓每條帶編號,並校驗輸出數量。

追問技巧:抽檢後把分錯的樣例貼回去,問「這些錯誤說明哪條規則不清楚,怎麼修改定義表」。針對用戶評論的情感與標籤分析可配合 431 號提示詞。

示例輸出

示例,僅供參考(標籤定義表節選)
標籤定義不包含區分規則
Bug 報告現有功能沒有按預期工作對現有設計不滿意但功能正常用戶描述「點了沒反應、報錯、閃退」歸為 Bug;「希望能……」歸為功能建議
支付問題與扣款、退款、充值、發票相關只是詢問價格同時涉及帳號與扣款時,優先歸為支付問題
其他不屬於以上任何一類—歸入此類時必須用一句話概括內容
json
{"id": 17, "label": "支付問題", "confidence": "高", "reason": "用戶反饋重複扣款"}

同款作品

用這條提示詞做出來的作品;原作者會因此獲得積分

做同款

還沒有同款,來做第一個。

Nathaniel 的更多內容

同主題

同模型

0 條評論

登入 後參與評論

還沒有評論,來搶沙發~