研究：用 BLEURT 相似度自动标注幻觉检测标签误分类率近半
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇 arXiv 论文检验了幻觉检测器常用的自动标注做法：用 BLEURT 等相似度指标比对模型输出与参考答案，再把相似度阈值当作事实性标签。作者用 15 种自动监督评判器、7 个幻觉检测基线、2 个生成模型、2 个问答数据集和 5 种语言做实验，发现检测器表现随评判器选择大幅波动。人工验证显示标注可靠性差异明显：QGen-9B 总体误分类率最低，为 12.86%；BLEURT 与 BLEURT-n 分别为 47.23% 和 47.32%。作者据此指出，相似度指标本身面向英文监督、分数无界，设计目标是相似而非事实正确，基于阈值的真值构建可能不可靠。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载被当作真值的相似度分数
论文针对的是幻觉检测评测中的一个常见做法：把模型生成与参考答案用 BLEURT 一类相似度指标比对，再按阈值切出正负标签，作为检测器的真值。作者认为这一步隐含地把相似度当成幻觉的替代量，但 BLEURT 的监督以英文为中心，输出分数没有固定上下界，其设计目标是衡量相似程度而不是判断事实是否正确。因此用阈值构造真值本身就可能不稳，检测器在这个基准上得到的分数也就难以反映真实能力。
多语言多评判器的对照实验
为验证这一疑虑，作者搭建了规模较大的对照设置：15 种自动监督评判器、7 个幻觉检测基线、2 个生成模型、2 个问答数据集，覆盖 5 种语言。结果显示，同一批检测器换用不同评判器生成标签后，性能出现明显差异，说明评测结论对标签来源高度敏感。这意味着此前一些基于自动标注得出的检测器排名，可能部分来自标注方式而非检测方法本身。
人工验证下的误分类率差距
作者进一步做人工验证，比较各评判器标签与人工判断的一致程度。QGen-9B 的总体误分类率最低，为 12.86%；BLEURT 与 BLEURT-n 分别为 47.23% 和 47.32%，接近一半的标签与人工判断不符。这一差距说明，评判器的选择不只是影响分数高低，而是直接决定训练与评测信号的质量。论文由此提出，需要更能反映语义与事实正确性的评判方法，替代单纯基于相似度的自动标注。
为什么值得看
幻觉检测的评测基准本身可能是错的，做检测器与标注流程的团队需要重新审视标签来源。
幻觉论文数据集
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。