论文提出 CausalCoT：用上下文隔离让思维链步骤真正驱动答案
论文AI 评分 68/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇 arXiv 论文提出 CausalCoT 推理框架，针对思维链提示的一个问题：模型生成的推理步骤看似解释了预测，却未必真正因果地决定最终答案。标准自回归生成中，密集注意力让每一步都能看到完整上下文，模型可以靠直接查找得出答案，再补上听起来合理的解释。CausalCoT 把问题拆成原子子问题的有向无环图，每个节点只在仅含其直接因果父节点的隔离上下文中求解，切断通往非父节点内容的注意力通路。在多项推理基准上，该方法保持有竞争力的预测表现，同时把中间推理步骤的因果敏感度平均提升 12 个百分点、最高 21 个百分点。依赖图还支持测试时的局部干预，修正可沿下游推理传播。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载要解决的问题
论文指出，思维链提示会让模型输出逐步推理，但这些步骤与最终答案之间没有因果保证。在标准自回归生成里，密集注意力使每个推理步骤都能读取完整上下文，模型因而可能绕过推理、直接查找答案，再生成看似合理的事后解释。作者把这一现象归为注意力泄漏：推理步骤受到与当前判断无关的全局内容影响，解释的忠实度因此存疑。
方法：图结构与隔离上下文
CausalCoT 把待解问题拆解为若干原子子问题，并组织成有向无环图。求解时，每个节点只在隔离上下文中评估，该上下文仅包含它的直接因果父节点，不包含其余内容。这种马尔可夫式结构切断了节点通往非父节点信息的注意力通路，使下游预测依赖局部推理结果，而非全局上下文泄漏。相比让模型在完整上下文里自由生成整条思维链，该做法对每一步可见信息施加了显式约束。
实验结果与可干预性
在多项推理基准上，CausalCoT 的预测表现与强基线相比保持竞争力，同时提升了说明的忠实度：中间推理步骤的因果敏感度相对最强基线平均提高 12 个百分点，最高提高 21 个百分点。此外，依赖图使测试时干预成为可能，对某个局部节点做修正后，影响会沿图结构可预测地传播到下游推理，这为定位和纠正推理错误提供了操作入口。
为什么值得看
关注思维链可解释性真实性的研究者，可看到一种用图结构与上下文隔离约束推理路径的具体做法及量化增益。
论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。