新框架DTC通过计算分歧token量化LLM推理不确定性
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载用分歧词数替代概率
这项研究提出了一种名为 Divergent Token Confidence 的框架，简称 DTC。它的核心思路不是去看模型对某个关键 token 给出的概率值，而是去数在解码过程中两个模型出现强烈分歧的 token 有多少个。研究者用 Jensen-Shannon 散度来衡量两个模型在同一个推理轨迹上对下一个 token 的分布差异，当差异足够大时就认为这个位置是分歧 token。作者发现，这类分歧 token 的数量与答案正确率之间几乎呈现负相关关系，也就是说分歧越多，答案越可能出错。因此这个计数本身就可以当作一个简单的不确定性信号来使用。与依赖概率的方法相比，DTC 不需要显式训练，也不会干扰模型本身的生成过程，这一点让它在实际使用中更容易落地。
白盒与黑盒两种用法
DTC 同时支持白盒和黑盒两种评估方式。在白盒场景下，研究者可以直接访问模型的内部概率分布，从而计算两个模型在同一推理路径上的分布差异；在无法获取内部信息的黑盒场景下，则可以借助辅助模型来完成同样的分歧计数。这种设计使得方法不局限于某一类可解释性条件。论文在多个模型家族和六个数学基准上做了实验，结果显示 DTC 在校准效果上优于基于概率的基线和基于语言化表达的基线。具体来说，在白盒评估中，仅使用计数的估计器平均期望校准误差为 13.0%，而标准的全序列置信度方法在 32.7% 到 42.4% 之间。在黑盒设置下，它同样改善了原始语言化分数的校准表现，例如在 DeepSeek-V3.2 上，平均期望校准误差从 32.1% 到 40.2% 降到了 13.7% 到 16.3%。
对使用者的实际意义
从这些数字可以看出，DTC 试图解决的是当前大模型推理置信度评估中一个比较实际的问题：仅靠选中 token 的概率往往校准不佳，而替换成更粗糙的替代信号反而可能带来改善。研究者正是从这一现象出发，去寻找更有效的置信度信号。分歧 token 计数之所以有效，可能是因为它捕捉到了推理过程中模型之间意见不一致的位置，而这些位置往往对应着推理链条中容易出错的环节。对于需要判断模型答案可靠性的场景，这意味着可以用一种不依赖训练、不改变生成流程的方式获得校准更好的不确定性估计。论文还提到代码已经公开，方便后续复现和进一步验证。整体来看，这项工作为推理不确定性量化提供了一个新的观察角度，即从概率数值转向分歧事件的数量统计。
为什么值得看
提供不依赖单一概率的推理不确定性量化新范式，校准误差大幅降低，对高可靠性要求场景极具价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。