研究揭示数学推理中答案不变但表征随规则排序变化
论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
该研究探讨了数学规则重排后正确答案不变时，模型内部表征是否也保持不变。通过在合成多步函数复合问题中测试16个参数量从1B到8B的语言模型，发现能更准确解决重排问题的模型，其内部对不同规则排序的表征区分度也更高。层平均置换信噪比与准确率在所有合成设定中均呈正相关，斯皮尔曼相关系数最高达0.86。这表明成功的数学推理可伴随等价排序间的差异化内部表征，区分了答案不变性与表征不变性。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载研究问题与实验设计
该研究聚焦于语言模型在数学推理过程中的内部表征机制。核心问题是：当一组数学规则的排列顺序发生改变但不影响其最终语义与正确答案时，模型的内部表征是否也会保持不变。为验证此问题，研究者构建了合成的多步函数复合任务，并将每个问题以多种规则排序方式呈现，确保这些不同排序对应相同的正确答案，从而观察模型在处理这些等价输入时的内部状态差异。
核心发现与相关系数
研究对16个参数规模介于1B至8B之间的语言模型进行了评估，并引入了置换信噪比这一指标，用于量化模型内部对排序模式的表征区分度相对于问题实例间变异的显著程度。实验揭示了一个反直觉的规律：在重排问题上准确率更高的模型，其对不同规则排序的内部表征区分度反而更强。在所有合成评估设定中，层平均置换信噪比与准确率均呈现正相关，斯皮尔曼相关系数最高达到0.86。
对推理评估的启示
这些发现明确指出了答案不变性与表征不变性之间的关键区别。模型即便在输出层面给出了相同的正确答案，其在处理语义等价但顺序不同的规则时，内部表征依然可以是高度敏感且存在显著差异的。这一结论强调了仅依赖答案准确率来衡量模型数学推理能力的局限性，促使研究界在答案准确性之外，从表征层面的不变性与敏感性视角去深入审视和理解模型的推理过程。
为什么值得看
揭示了语言模型数学推理的内部表征机制，证明仅看答案准确率不足以评估模型，为理解模型推理提供了新视角。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。