PRISM：用反事实探针校准黑盒LLM评审的评分偏差
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载要解决的问题
大模型被越来越多地用作评审，以减少对昂贵人工评估的依赖，但它们的打分可能与人类判断系统性不一致。论文提出的问题是：对一个被显式施加的评估偏差所作出的响应，能否用来纠正评审自身隐含的评分偏差。这一提问方式把校准从「猜测评审内部标准」转向「观察评审在受控扰动下的反应」，为黑盒评审的偏差修正提供了一条不依赖模型内部信息的路径。
方法怎么运作
PRISM 全称 Probe-based Residual Inference of Scoring Misalignment。它固定被评内容不变，只改变属性被强调或弱化的程度，记录分数随之发生的变化。一个局部敏感度模型为把这些响应用代理雅可比矩阵来表示提供了动机。随后用岭回归在人类标签上学习一个对基线分数的修正量。整个评分协议不依赖评分细则，只使用总体分数，不要求评审给出准则级别的评分，因此在无法获取细粒度评分标准的场景下也可使用。
实验与结果
在 SummEval 摘要评测与 HANNA 故事评测的主要 Jev 与 Sol 对比中，PRISM 及其学习基线变体相比未校准的分数显著提升了与人类排序的一致性，同时与基于细则的方法相比仍具竞争力。一项受控的 SummEval 对比显示，由细则导出的质量探针与风格探针取得相近的一致性，这支持了在不复现细则准则的前提下完成校准。学习到的系数还揭示出不同评审之间存在共享的与相反的修正方向。
为什么值得看
用少量人类标签校正黑盒评审的隐性偏差，且无需逐条评分细则，对依赖 LLM 打分的评测流程有直接参考价值。
信源1 家
关键事实
论文标题为 PRISM: Calibrating Black-Box Judges with Counterfactual Probes，作者为 Kakei Yamamoto 与 So Kuroki，提交于 2026 年 10 月 13 …[1]
PRISM 保持被评内容固定，测量属性被强调或弱化时的分数变化，并用代理雅可比矩阵表示这些响应。[1]
该方法通过岭回归在人类标签上学习对基线分数的修正，评分协议不要求准则级别的评分。[1]
在 SummEval 摘要与 HANNA 故事评测上，PRISM 及其学习基线变体相比未校准分数显著提升与人类排序的一致性。[1]
受控 SummEval 对比显示，由细则导出的质量探针与风格探针取得相近一致性，学习到的系数揭示不同评审间存在共享与相反的修正方向。[1]
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。