研究揭示基础模型起始词元可触发推理，效果媲美RL训练
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载固定开头词提升准确率
这项研究关注的是基础模型回复开头处的词元与后续推理行为之间的联系。研究者发现，如果在生成开始时固定某些特定的起始词元作为提示线索，基础模型在数学和编程任务上的表现就能接近经过强化学习训练的同系列模型。论文给出的例子中，把起始线索固定为特定文本后，Olmo-3-7B 在 MATH-500 上的 pass@1 准确率由 42% 提升到 78%；另一条线索则让 Qwen3-14B 的同一指标从 72% 升到 87%。这说明推理能力的差异并不完全来自模型权重本身，回复起点的选择同样会显著改变最终结果。
强化学习与线索的关系
研究进一步比较了强化学习训练与这些起始线索之间的相互作用。结果显示，强化学习过程会让模型更倾向于生成那些能够带来推理效果的线索词，而如果在基础模型上直接固定使用这些线索，就能找回相当一部分原本只有强化学习才能带来的性能提升。换句话说，强化学习对推理能力的改善，有相当比例可以通过控制回复开头的词元来复现，而不必依赖完整的训练流程。这一发现为理解强化学习在推理任务中究竟改变了什么提供了新的观察角度。
线索效果可追溯到数据
研究者还通过因果性的数据干预，把线索与训练数据之间的关系做了验证。他们能够把一个原本与推理无关的普通词，例如某个任意选定的单词，改造成有效的推理线索；反过来，也可以消除某个已有线索的作用。类似的编辑还能让一条看起来毫无意义的提示指令，在诱发推理方面达到与常见分步思考提示相当的效果。此外，不同线索在模型内部引发的隐藏状态表示，与训练集中不同类型的文档存在相关性。在安全性方面，不同线索也会引出不同的拒绝或配合行为，而这些行为同样对应着不同类型的训练数据。
为什么值得看
揭示了无需RL微调即可大幅激发模型推理能力的数据机制，为低成本提升模型性能与控制安全行为提供新思路。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。