數據標註規範怎麼寫：標註指南與一致性檢驗方案提示詞（標籤定義、邊界案例、試標與修訂流程）
要組織幾個人（或用大模型）給一批數據打標籤，用於訓練、評測或統計，擔心每個人理解不一樣、標出來的數據沒法用時用：給出任務和樣本，AI 起草一份標註指南——每個標籤的定義、正反例、容易混的邊界怎麼判——並設計試標、算一致性、修訂規則的流程。
我需要為一個標註任務編寫標註指南，並設計保證標註質素的流程。請基於我提供的真實樣本來寫，不要憑空想像數據的樣子。 標註任務：[標註任務] 標註結果的用途：[標註用途]（訓練模型 / 做評測集 / 業務統計） 初步設想的標籤：[初步標籤] 真實樣本（20–50 條，盡量包含你覺得難判斷的）： [真實樣本] 標註人員情況：[標註人員]（人數、是否有領域知識、是否使用大模型預標註） 第一步：先看數據再定標籤 1. 通讀樣本，指出初步標籤體系的問題：是否有重疊、是否有樣本哪類都不屬於、粒度是否不一致、某類是否幾乎不會出現。 2. 提出修改後的標籤體系，並說明每處修改的理由。標籤是單選還是多選要明確。 3. 從我的樣本中挑出最難判斷的 8–10 條，說明難在哪裏——這些就是指南要重點解決的邊界情況。 第二步：撰寫標註指南，包含 1. 任務說明：標什麼、為什麼標（用途會影響拿不準時的取捨）、標註的最小單位是什麼。 2. 每個標籤：一句話定義；判定標準（滿足什麼條件才算）；2 個典型正例；1–2 個「看起來像但不是」的反例及原因。例子優先取自我的樣本。 3. 邊界規則：把最容易混淆的標籤兩兩列出，給出判定優先級（例如「同時出現 A 和 B 時標 A，因為……」）。 4. 通用規則：資訊不足、內容為空、無關內容、多語言、含錯別字、諷刺反話等情況分別怎麼處理；什麼時候使用「無法判斷」，並說明這個選項不應被濫用。 5. 判定流程：把上述規則整理成一個自上而下的判斷順序（先問什麼、再問什麼），讓標註員不用通讀全文也能照着走。 6. 不要做的事：不憑個人好惡、不根據猜測的作者身份、不自行新增標籤。 第三步：質素流程 1. 試標：先由所有人獨立標註同一小批數據，計算一致性（兩人用 Cohen's kappa，多人用 Fleiss' kappa 或 Krippendorff's alpha），說明各自適用的情況，以及為什麼不能只看簡單的一致比例。 2. 分歧處理：把不一致的樣本逐條討論，把結論補充進指南的邊界規則，而不是隻改這一條的答案；指南要有版本號和修訂記錄。 3. 正式標註：重疊標註的比例、抽檢方式、埋入已知答案的檢查題、發現某位標註員系統性偏差時怎麼辦。 4. 使用大模型預標註時：人工覆核的抽樣方式；如何避免標註員被預標註結果帶偏；模型與人工不一致的樣本如何處理。 5. 交付物：標註數據的字段、每條的標註人與時間、存疑標記、指南版本。 一致性係數多高算合格取決於任務的主觀程度和用途，請說明判斷思路，由我來定具體門檻，不要給一個放之四海皆準的數字。
高亮處換成你自己的內容：[標註任務]、[標註用途]、[初步標籤]、[真實樣本]、[標註人員]
已被複製 0 次
使用說明
標註質素差，多數時候是指南的問題。讓三個人給同一批評論標「正面 / 負面 / 中性」，如果指南只有這三個詞，一致性一定不高——「東西不錯，就是太貴」算哪類？標註指南要解決的就是這些邊界；而邊界只有看了真實數據才知道在哪，所以提示詞的第一步是先讀樣本、先挑難例，再寫定義。
怎麼填變量：[真實樣本] 是關鍵，請直接從要標的數據裏隨機抽，再手動補幾條你覺得難辦的；不要用自己編的「典型例子」，那樣寫出的指南只能處理簡單情況。[標註用途] 要寫清：用於訓練時，寧可把含糊的樣本單獨標記出來；用於業務統計時，更需要每條都有明確歸屬。數據含個人資料的，先脫敏再貼。
關於一致性係數：簡單的一致比例會被「碰巧一致」抬高——類別很不均衡時，兩個人全標成多數類也能有很高的一致率，kappa 這類係數扣除了這部分偶然一致。係數達到多少可以接受，沒有統一標準，主觀性強的任務本來就難以很高，結合用途和分歧樣本的具體情況來判斷。
常見問題與調整：
- 指南越寫越長，標註員記不住 → 追問：「把指南壓縮成一頁的判定流程圖文字版，細則作為附錄。」
- 試標一致性低 → 把分歧樣本貼回來：「這些是兩人標註不一致的樣本及各自的標籤，請歸納分歧集中在哪幾對標籤上，並為每一對補充判定規則。」
- 用大模型標註 → 把指南直接作為提示詞的主體，並配合本站「文本分類提示詞怎麼寫」與「Few-shot 示例怎麼寫提示詞」。
示例輸出
示例，僅供參考（任務：給電商評論標註「是否包含質素問題反饋」；節選）
難例與原因
- 「用了兩週就不太靈了，不知道是不是我用得不對」——有質素疑似問題，但用戶自己不確定。
- 「快遞盒壓扁了，裏面沒事」——是物流問題，商品本身無問題。
標籤定義：包含質素問題
定義：評論描述了商品本身的缺陷、損壞、故障或與描述不符。
判定標準：問題出在商品上（而非物流、客服、價格），且描述的是已經發生的情況。
正例：「充電口鬆動，插上經常斷電。」
反例：「包裝太簡陋了。」——針對的是包裝而非商品，標「不包含」。
邊界規則
- 用戶不確定是否為質素問題（如上面第一條）：標「包含」，並勾選「存疑」。理由：本數據用於發現潛在質素問題，漏掉的代價高於多看一條。
- 只有外包裝受損、商品完好：標「不包含」。
判定流程：先問「評論是否提到了商品本身的狀況」→ 否，標不包含；是，再問「描述的是不是缺陷、故障或不符」→ 是，標包含。
同款作品
用這條提示詞做出來的作品；原作者會因此獲得積分
還沒有同款，來做第一個。
0 條評論
還沒有評論，來搶沙發～