CoCHI 通过因果头干预纠正大模型过度自信错误
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载问题出在内部而非输出
论文关注的现象是：大模型经常给出错误答案，却同时赋予很高的置信度，这直接削弱了模型在实际使用中的可靠性。作者指出，已有的校准做法大体分两类，一类是在模型输出之后做事后调整，另一类是重新训练模型，两者都停留在输出层面，没有处理失准背后的原因。CoCHI 的出发点是把校准看作模型内部结构的问题，而不是单纯调整最终分数的问题，因此它要找到模型中哪些部分对应不同的置信行为，再对这些部分施加干预。
按置信模式定位干预对象
CoCHI 的全称是 Class-oriented Causal Head Intervention。方法先按预测是否正确、置信度高低把模型的预测划分成不同模式，再据此分析模型内部各组件与这些模式之间的对应关系，从而锁定对过度自信错误负责的部分。干预只针对这些被识别出的内部组件进行，目标是在压低错误预测的置信度的同时，不破坏原本正确的预测。作者把这一思路描述为对校准的机制性解释：可靠性可以对应到模型内部可识别的结构上，而不是被当作输出层的独立问题处理。
评测指标与适用范围
实验覆盖多个大模型，并在五个多选题问答基准上检验效果。结果显示，期望校准误差、负对数似然和 Brier 分数这几项校准指标都取得一致改善，同时准确率没有下降，说明干预没有以牺牲答题正确率为代价换取更保守的置信输出。论文的结论是，有效的校准不仅需要调整输出，还需要处理模型内部的因果机制。该工作已被 NeurIPS 2026 接收，预印本编号为 arXiv:2610.34994，提交时间为 2026 年 10 月 26 日。
为什么值得看
把校准从输出层调整转向模型内部机制定位，为提升大模型可靠性提供了一条可复用的干预思路。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。