arXiv 论文提出对比事实证据 CFE,改进多语言事实置信度校准
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载问题与方法构造
论文关注的是:大模型内部存有大量事实知识,但要让模型对某条事实陈述给出可靠置信度仍然困难。作者从区分度与校准两个互补角度考察基于似然的事实置信度,覆盖多语言事实陈述。具体做法是把对比生成似然实例化为对比事实证据(CFE):对同一条陈述,分别在事实条件与非事实条件下计算似然并加以比较,而不是只看单一条件下的绝对似然值。在此基础上,作者推导出对应的概率形式,即对比事实后验(CFP),把对比结果转成可校准的概率量。
校准为何更紧
论文给出分析性结论:CFP 的校准效果取决于两个替代条件分布之间的差异误差,而非各自误差的绝对大小。这意味着两个条件共享的误差会在对比中相互抵消,使校准界更紧。实验层面,CFP 在校准指标上明显优于对照,同时事实区分度与最强竞争者处于可比水平。也就是说,改进主要来自置信度是否可信,而不是把事实与非事实分得更开。
低资源语言的短板
论文同时报告了一个负面结果:在低资源语言上,各方法的区分度普遍偏弱,而区分度不足会直接削弱校准数值的实际意义——概率再校准,若无法区分真假陈述,可用性依然有限。作者由此转向似然空间的几何解释,认为其中存在一个承载证据的方向,以及一个与证据无关的正交方向。
几何对齐的做法
基于上述几何视角,作者只在事实证据方向上,把目标语言陈述与更强的英语证据对齐,而不触碰证据无关方向。这样无需目标语言标签,就能改善低资源语言的区分度,并在开放式事实生成上取得提升。论文未在摘要中给出具体语言清单与量化幅度,相关细节需查阅全文。
为什么值得看
想了解如何用似然判断模型事实置信度、以及多语言低资源场景下校准失效的读者,可看其对比构造与几何对齐思路。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
