用 AI 生成合成數據提示詞(為測試、評測或訓練批量造樣本:多樣性維度矩陣、去重、標註一致性、真實感檢查)

缺少真實數據來測試大模型應用、建立評測集、訓練分類模型,或者真實數據涉及私隱不能直接使用時用:AI 幫你先定義多樣性維度、按矩陣分批生成樣本,避免千篇一律,並給出去重、標註一致性檢查和與真實數據對比的方法。

NNathaniel bigo··原創首發·AI 輔助撰寫
通用大模型 對話模型通用
你是一名擅長構造高質素合成數據的數據工程師。請幫我設計並生成一批合成數據。

- 數據用途:[數據用途](例:測試客服機器人對退貨問題的回答)
- 單條樣本的格式:[樣本格式](例:用戶問題 + 期望的處理類別 + 難度)
- 需要的數量:[需要的數量]
- 已有的少量真實樣本(已脫敏,用於參考風格):
  [真實樣本]
- 必須覆蓋的情況:[必須覆蓋](例:情緒激動的用戶、資訊不全、一次問多個問題)

請按以下步驟:
1. 多樣性維度:列出決定樣本差異的維度及其取值,例如:
   - 內容維度:問題類型、涉及的商品品類;
   - 表達維度:長度、語氣(平靜、着急、憤怒)、是否有錯別字或口語化、是否夾雜方言或英文;
   - 難度維度:資訊是否完整、是否含多個意圖、是否有誤導資訊。
2. 生成計劃:按維度組合成一張矩陣,規定每種組合生成多少條,保證分佈合理(常見情況多、極端情況少但一定要有),不要讓模型「自由發揮」。
3. 生成提示詞:每一批只生成一個維度組合,要求:
   - 每條樣本彼此明顯不同,不要只是替換幾個詞;
   - 不要照抄參考樣本;
   - 不包含真實的人名、手機號、地址、訂單號(如需要,用明顯的虛構格式);
   - 同時輸出標註(期望類別等),並對模棱兩可的樣本給出理由。
4. 質素檢查:
   - 去重:完全重複與高度相似的樣本如何檢測(例如文本相似度閾值);
   - 標註一致性:抽樣讓另一個模型或人工獨立標註,比較一致率;
   - 真實感:與真實樣本對比長度分佈、用詞,指出合成數據「過於工整」的問題;
   - 偏差:檢查是否某類樣本比例失衡、是否帶有刻板印象。
5. 使用建議:合成數據適合什麼、不適合什麼;評測時為什麼仍要保留一部分真實數據。

先輸出維度矩陣與生成計劃,再生成第一批 [首批數量] 條作為示範。

高亮處換成你自己的內容:[數據用途]、[樣本格式]、[需要的數量]、[真實樣本]、[必須覆蓋]、[首批數量]

ChatGPT Plus 充值

已被複製 0 次

使用說明

怎麼填變量:[真實樣本] 即使只有幾條,也能幫助 AI 把握真實用戶的說話方式,生成的數據會更像真的。[必須覆蓋] 寫出你最擔心繫統處理不好的情況,這些情況在合成數據中要有足夠的數量。

常見坑:

  • 一次讓模型生成 200 條,後面的樣本越來越像,大量近似重複。按維度組合分批生成,每批數量適中。
  • 合成的用戶問題都很「標準」:句子完整、沒有錯別字、一次只問一個問題,和真實用戶差別很大,用來評測會高估系統的效果。
  • 用同一個模型生成數據、再用同一個模型評測,可能存在偏向自己的風格。有條件時混用不同模型,並保留真實數據作為對照。

追問技巧:追問「檢查這批數據中哪些維度組合的樣本質素最差,重新生成」,或「把生成和去重流程寫成腳本,可以重複運行」。評測集的設計可配合 1142 號提示詞,造測試用的結構化假數據可配合 1015 號提示詞。

示例輸出

示例,僅供參考(維度矩陣節選)
問題類型語氣資訊完整度數量
尺碼不合適想換貨平靜完整15
尺碼不合適想換貨着急缺少訂單資料8
商品破損憤怒完整,附帶要求賠償8
超過退貨期限仍想退平靜完整6
同時詢問退貨與發票着急部分缺失5

第一批示例(商品破損 · 憤怒):

json
[
  {"text": "你們怎麼包的??杯子到手碎成三塊,我要全額退款外加賠償,今天不處理我就投訴", "label": "破損-退款", "difficulty": "中"},
  {"text": "第二次了!!上次碗也是裂的,這次盤子又磕掉一塊,到底有沒有人管", "label": "破損-退款", "difficulty": "中", "note": "未明確提出訴求,但情緒與歷史問題需要關注"}
]

同款作品

用這條提示詞做出來的作品;原作者會因此獲得積分

做同款

還沒有同款,來做第一個。

Nathaniel 的更多內容

同主題

同模型

0 條評論

登入 後參與評論

還沒有評論,來搶沙發~