论文提出 CTTA 方法：在测试阶段去除语言模型捷径
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载捷径问题与现有做法
论文关注大语言模型利用捷径的现象：训练数据里存在某些关联，这些关联在测试时未必成立，一旦分布偏移，预测质量就会下降。作者指出，目前多数去除捷径的方案在训练阶段介入，代价是需要带标签的训练数据、能够访问模型权重，还要消耗可观的算力。这些条件在实际部署中往往难以同时满足，因此论文把问题重新定位到测试阶段：模型已经训练完成、权重不可改动、测试样本没有标签，仍要降低模型对捷径的依赖。
CTTA 的做法与理论
作者提出一族反事实测试时增强方法。给定一个样本，每种方法都借助辅助模型生成若干反事实编辑，编辑的核心是把捷径对应的取值改掉，然后在这些编辑版本上收集 LLM 的预测并做加权平均。论文证明，最优的捷径不变预测器正是这一族中的成员，并对它的权重给出了刻画。问题在于，这组权重取决于训练分布，一般情况下无法仅凭已训练模型和无标签测试数据确定，这构成了方法落地的主要障碍。
权重识别与 Select-CTTA
论文进一步给出若干假设，在这些假设成立时，权重可以从已训练 LLM 的 token 概率中求得，无需额外标签。作者同时设计了检验手段，用来发现这些假设被违反的情形。基于这些检验，论文提出 Select-CTTA：一种在 CTTA 方法族内部做选择的聚合方法，根据检验结果决定采用哪种增强与加权方式。这样就把「权重能否识别」的判断交给数据本身，而不是默认假设总成立。
实验结论与适用边界
实验部分报告，Select-CTTA 的表现超过测试时基线方法，并接近在捷径平衡数据上微调过的模型。论文共 24 页，含 9 张表和 2 张图，归类于机器学习、人工智能与计算语言方向。需要注意的是，方法依赖辅助模型生成反事实编辑，也依赖 token 概率可得的假设；论文用检验来暴露假设不成立的情况，但并未声称在所有场景下都能恢复最优权重。
为什么值得看
不重训、不访问权重，只在推理阶段削弱模型对虚假关联的依赖，为部署后纠偏提供可检验的新思路。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。