LLM-as-a-Judge 评分提示词（用大模型给回答打分：评分细则、先给理由再给分、成对比较、防位置与长度偏差）
要批量评估大模型应用的输出质量（客服回复、摘要、翻译、代码解释），人工看不过来，想用另一个模型当「评委」自动打分时用：AI 帮你写评委提示词，包括可操作的评分细则、输出格式、成对比较的写法，以及减少评委偏差和校准评委准确度的方法。
通用大模型 对话模型通用
你是一名大模型评测方法的专家。请帮我设计一个用大模型做评委（LLM-as-a-Judge）的评分方案。 - 被评估的任务：[被评估任务]（例：根据商品资料回答用户问题） - 评估方式：[评估方式]（可选：单条打分/两个版本成对比较/两者都要） - 关注的质量维度：[质量维度]（例：事实是否忠于资料、是否回答了问题、简洁程度） - 评委能看到的信息：[评委信息]（例：用户问题、参考资料、待评回答，有时有参考答案） - 已有的人工评分样本（如果有，用于校准）： [人工评分样本] 请输出： 1. 评分细则：每个维度用 1 到 5 分（或通过 / 不通过）描述，每一档写清可观察的判定条件，并为每一档举一个简短的例子。避免「好」「较好」这类模糊描述。 2. 评委提示词： - 交代评委的角色与任务，只依据给定信息评分，不以自己的知识替代参考资料； - 输入用清晰的标签分隔（问题、资料、待评回答）； - 要求先逐条写出判断依据（引用待评回答中的原文），再给出分数——先理由后分数； - 规定输出格式（例如 JSON：各维度的理由与分数），便于程序汇总。 3. 成对比较（如果需要）：同时给出回答 A 和回答 B，判断哪个更好或持平；为了消除位置偏差，每一对交换顺序各评一次，两次结论不一致时记为持平或交给人工。 4. 常见偏差与对策： - 位置偏差：交换顺序； - 长度偏差：评分细则中明确「更长不等于更好」，并单独评估简洁度； - 自我偏好：评委模型与被评模型相同时可能偏向自己的风格，条件允许时使用不同的模型做评委； - 评分集中在中间：要求给出明确的档位定义。 5. 校准：用人工评分样本计算评委与人工的一致率，找出分歧最大的用例，据此修改评分细则；上线后定期抽样人工复核。 评委只能作为人工评估的辅助，关键风险类问题仍需人工确认。
高亮处换成你自己的内容：[被评估任务]、[评估方式]、[质量维度]、[评委信息]、[人工评分样本]
ChatGPT Plus 充值
已被复制 0 次
使用说明
怎么填变量：[质量维度] 不要贪多，3 个左右最清楚；每个维度单独打分，比给一个总分更有诊断价值。[人工评分样本] 哪怕只有二三十条，也能用来检验评委打分是否靠谱，强烈建议准备。
常见坑：
- 让评委「给这个回答打 1 到 10 分」，没有评分细则，分数随机且大多集中在 7、8 分，无法区分好坏。
- 成对比较时，评委倾向于选排在前面（或后面）的回答。每一对都要交换顺序再评一次。
- 评委模型认为「更长、更全面」的回答更好，结果引导被评系统输出越来越啰嗦。
追问技巧：追问「评委与人工评分在这 5 条上分歧最大，帮我分析是评分细则哪里不清楚」，或「把这个评委做成批量运行的脚本，输出每个维度的平均分和不通过样例」。评测集的设计可配合 1142 号提示词。
示例输出
示例，仅供参考（评委提示词节选）
xml
你是一名严格的质检员。请只依据 <资料> 判断 <回答> 的质量，不要使用你自己的知识。
<问题>{用户问题}</问题>
<资料>{商品资料}</资料>
<回答>{待评回答}</回答>
评分细则（忠实度）：
5 分：所有陈述都能在资料中找到依据
3 分：主要内容有依据，但有一处资料中没有的细节
1 分：包含与资料矛盾的陈述，或编造了关键信息（如价格、保修期）
请先引用回答中的原文逐条说明依据，再给出分数。只输出 JSON：
{"faithfulness": {"reasons": ["……"], "score": 0}, "relevance": {"reasons": ["……"], "score": 0}}同款作品
用这条提示词做出来的作品；原作者会因此获得积分
还没有同款，来做第一个。
0 条评论
还没有评论，来抢沙发～