UtilityBench 提出按错误代价评估语言模型效用的基准
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载为何要按代价评估
论文的出发点是：语言模型进入结果重要的真实场景后，错误的影响往往超出「答对答错」所能刻画的范围。医疗等领域的单次失误可能带来严重后果，甚至威胁患者安全。但主流评测协议仍把所有错误一视同仁，没有体现现实世界中错误代价的差异。作者据此提出以效用为核心的评估范式，把错误后果的不同程度显式纳入评测，让模型的行为选择与场景的真实重要性挂钩。
基准与代价量化方法
在这一思路下，作者构建了 UtilityBench，规模为 15000 条实例，全部带有可验证的答案。错误严重程度并非由作者主观设定，而是用 Best-Worst Scaling 方法收集判断，得到有数据支撑的代价估计。这些量化后的效用值用于约束模型的行为：决定它在什么情况下应当给出答案、在什么情况下应当弃答，从而使应答决策与每个场景的实际重要程度相匹配。
UtilityAUC 指标与理论性质
作者还提出 UtilityAUC，它衡量的是由模型响应排序所确定的效用曲线下面积，因此关注的不只是错误出现的频次，还包括模型把高代价错误排在什么位置，从而反映效用偏好上的对齐程度。理论分析表明，在标准准确率和 AURC 无法区分某些模型的情况下，UtilityAUC 仍能给出区分。
实测发现的能力与决策落差
作者对 20 个当前先进模型做了评测，结果显示更高的准确率或更先进的架构并不能稳定换来更高的 UtilityAUC。这说明解题能力与负责任决策之间存在落差，仅凭准确率挑选模型，在高代价场景中可能做出错误判断。该工作为高风险场景下的模型比较提供了新的度量维度。
为什么值得看
评测从只看对错转向按错误代价排序，医疗等高风险场景的模型选型可参考这一新指标。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。