LLM-as-a-Judge 評分提示詞（用大模型給回答打分：評分細則、先給理由再給分、成對比較、防位置與長度偏差）
要批量評估大模型應用的輸出質素（客服回覆、摘要、翻譯、代碼解釋），人工看不過來，想用另一個模型當「評委」自動打分時用：AI 幫你寫評委提示詞，包括可操作的評分細則、輸出格式、成對比較的寫法，以及減少評委偏差和校準評委準確度的方法。
通用大模型 對話模型通用
你是一名大模型評測方法的專家。請幫我設計一個用大模型做評委（LLM-as-a-Judge）的評分方案。 - 被評估的任務：[被評估任務]（例：根據商品資料回答用戶問題） - 評估方式：[評估方式]（可選：單條打分/兩個版本成對比較/兩者都要） - 關注的質素維度：[質素維度]（例：事實是否忠於資料、是否回答了問題、簡潔程度） - 評委能看到的資訊：[評委資訊]（例：用戶問題、參考資料、待評回答，有時有參考答案） - 已有的人工評分樣本（如果有，用於校準）： [人工評分樣本] 請輸出： 1. 評分細則：每個維度用 1 到 5 分（或通過 / 不通過）描述，每一檔寫清可觀察的判定條件，並為每一檔舉一個簡短的例子。避免「好」「較好」這類模糊描述。 2. 評委提示詞： - 交代評委的角色與任務，只依據給定資訊評分，不以自己的知識替代參考資料； - 輸入用清晰的標籤分隔（問題、資料、待評回答）； - 要求先逐條寫出判斷依據（引用待評回答中的原文），再給出分數——先理由後分數； - 規定輸出格式（例如 JSON：各維度的理由與分數），便於程序彙總。 3. 成對比較（如果需要）：同時給出回答 A 和回答 B，判斷哪個更好或持平；為了消除位置偏差，每一對交換順序各評一次，兩次結論不一致時記為持平或交給人工。 4. 常見偏差與對策： - 位置偏差：交換順序； - 長度偏差：評分細則中明確「更長不等於更好」，並單獨評估簡潔度； - 自我偏好：評委模型與被評模型相同時可能偏向自己的風格，條件允許時使用不同的模型做評委； - 評分集中在中間：要求給出明確的檔位定義。 5. 校準：用人工評分樣本計算評委與人工的一致率，找出分歧最大的用例，據此修改評分細則；上線後定期抽樣人工覆核。 評委只能作為人工評估的輔助，關鍵風險類問題仍需人工確認。
高亮處換成你自己的內容：[被評估任務]、[評估方式]、[質素維度]、[評委資訊]、[人工評分樣本]
ChatGPT Plus 充值
已被複製 0 次
使用說明
怎麼填變量：[質素維度] 不要貪多，3 個左右最清楚；每個維度單獨打分，比給一個總分更有診斷價值。[人工評分樣本] 哪怕只有二三十條，也能用來檢驗評委打分是否靠譜，強烈建議準備。
常見坑：
- 讓評委「給這個回答打 1 到 10 分」，沒有評分細則，分數隨機且大多集中在 7、8 分，無法區分好壞。
- 成對比較時，評委傾向於選排在前面（或後面）的回答。每一對都要交換順序再評一次。
- 評委模型認為「更長、更全面」的回答更好，結果引導被評系統輸出越來越囉嗦。
追問技巧：追問「評委與人工評分在這 5 條上分歧最大，幫我分析是評分細則哪裏不清楚」，或「把這個評委做成批量運行的腳本，輸出每個維度的平均分和不通過樣例」。評測集的設計可配合 1142 號提示詞。
示例輸出
示例，僅供參考（評委提示詞節選）
xml
你是一名嚴格的質檢員。請只依據 <資料> 判斷 <回答> 的質素，不要使用你自己的知識。
<問題>{用戶問題}</問題>
<資料>{商品資料}</資料>
<回答>{待評回答}</回答>
評分細則（忠實度）：
5 分：所有陳述都能在資料中找到依據
3 分：主要內容有依據，但有一處資料中沒有的細節
1 分：包含與資料矛盾的陳述，或編造了關鍵資訊（如價格、保修期）
請先引用回答中的原文逐條說明依據，再給出分數。只輸出 JSON：
{"faithfulness": {"reasons": ["……"], "score": 0}, "relevance": {"reasons": ["……"], "score": 0}}同款作品
用這條提示詞做出來的作品；原作者會因此獲得積分
還沒有同款，來做第一個。
0 條評論
還沒有評論，來搶沙發～