CRoS：用打乱推理步骤顺序的因果奖励提升模型准确率与推理忠实度
论文AI 评分 72/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
针对可验证奖励强化学习（RLVR）只看结果正确、无法保证思维链真正影响答案的问题，作者提出 CRoS 因果奖励。已有因果度量靠删除步骤或注入错误来扰动思维链，会改变每步信息，高分可能只是对信息变化敏感。CRoS 改为打乱推理步骤顺序、不改内容，从而保留每步信息。在 Reasoning Gym 上用 Gemma-3-4B 测试，CRoS 在五个未见过的逻辑与游戏数据集上取得 46.8% 准确率，高于最强基线 43.8%；CoT-Pass@K 从 K=1 到 128 平均 43.4%，基线为 41.4%；提示确认分数 34.0%，基线 20.2%。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载结果奖励的缺口
可验证奖励强化学习已成为训练语言模型推理的常用做法，但奖励通常只来自最终答案是否正确。答案正确并不等于思维链对答案有因果贡献，缺少这层联系时，结果奖励未必能强化高质量推理。已有因果度量通过删除推理步骤或注入错误来扰动思维链，再观察答案变化；这类扰动会改变每一步携带的信息，高分可能反映的是对信息变化的敏感，而非真正的因果性。把这种度量当作训练奖励，还会带来生成信息量更低的思维链、探索与自我纠正减少等不良行为。
打乱顺序的做法
CRoS 的思路是把扰动限制在顺序上：打乱推理步骤的排列，但不改动每一步的内容，因此每步信息得以保留，度量针对的是步骤次序对最终答案的影响。作者把它作为因果奖励用于训练，并在 Reasoning Gym 环境、Gemma-3-4B 模型上，与现有因果奖励和结果奖励做对比，评估维度包括域外准确率、思维链质量和思维链忠实度。
三项对比数字
在五个未见过的逻辑与游戏数据集上，CRoS 的准确率为 46.8%，最强基线为 43.8%。思维链质量方面，CRoS 在 CoT-Pass@K 上从 K=1 到 128 持续优于基线，平均为 43.4% 对 41.4%。忠实度方面，CRoS 的提示确认分数为 34.0%，基线为 20.2%。论文篇幅 17 页，含 3 张图、14 张表，附有项目页面，编号为 arXiv:2610.42054。
为什么值得看
给出一种不改变步骤内容的思维链因果度量，并把它用作训练奖励，同时报告了准确率与忠实度的对比数字，适合关注 RLVR 与…
强化学习论文数据集
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。