研究指出成对评估盲区：奖励模型分数按提示词聚集
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载成对比较漏掉的分数成分
奖励模型要为偏好优化、过滤和排序给出分数，而把不同提示下的分数汇总时，前提是这些分数彼此可比。问题在于，成对评估只比较同一个提示下的两个回答，凡是该提示下所有回答共有的那部分分数都会相互抵消，因而从未被检验。论文把这一被忽略的成分单独拿出来研究，做法是把模型分数在提示之间的差异，与人类对同一批回答打分时呈现的差异放在一起对照。作者据此提出一套以人类评分为参照的审计方法，由三部分构成：提示间方差占比、同提示兄弟回答评分的回归，以及提示替换。这套方法被用于检验已公开的评分器，并覆盖若干相互匹配的训练条件。研究关注的核心不是单个提示内部谁高谁低，而是分数在提示之间如何分布，以及这种分布是否与人的判断一致。
分数比人更贴着提示聚集
对照结果显示，模型分数按提示聚类的程度高于人类评分。在 HelpSteer2 上，若干奖励模型的提示间方差占比落在 0.34 到 0.64 之间，而人类评分的对应占比接近于零。这意味着同一提示下的回答在模型眼里彼此更像，不同提示之间则拉开明显差距，人的打分却没有表现出这种结构。作者进一步把原始提示替换成一条固定指令，聚类现象依然大量存在，但与提示层面人类评分的一致性反而变弱。由此得出的判断是：仅凭聚类本身，并不能说明模型分数与人的判断相符，两者需要分开考察。
提示间差异并非全是噪声
论文并不认为提示间变化都该被消除。把每个提示的分数均值减掉之后，全局挑选出的回答在有用性上反而下降，说明其中一部分变化携带了有用信息。另一方面，即便训练过程把提示均值打乱，分数仍然会对错误的提示保持敏感。基于这些观察，作者主张奖励评估应把三件事分别检查：提示之间的变异情况、分数对错误提示的敏感程度，以及这些分数用于挑选回答时是否真正有效。对使用奖励模型做筛选或排序的读者而言，这意味着只看同一提示内的成对胜负，可能漏掉分数可比性上的关键问题。
为什么值得看
做奖励模型与偏好数据评测的团队，可据此发现成对评估漏掉的跨提示词偏差，并调整评测设计。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。