论文质疑自蒸馏评分信号，提出带批判条件的自蒸馏方法
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载评分信号为何失效
论文关注 on-policy 自蒸馏：让一个看过参考答案的教师给学生的 rollout 打分，把由此产生的分布偏移蒸馏回策略，从而用密集的 token 级信用替代可验证奖励 RL 中稀疏的结果信号。作者用学生 rollout 里的标准错误片段作为检验工具，考察自蒸馏目标实际消费的两种信号——全分布 KL 与 token log-ratio。结果显示，这两种信号既不能把错误定位到具体片段，也不能在错误片段内把概率推离错误 token，甚至在同一道题内部都无法可靠区分正确与错误的 rollout。作者给出的解释是结构性的：在一条推理轨迹里找到错误发生在哪一步，本身是一个搜索问题，而只负责打分的教师从未被要求执行这种搜索。
批判作为条件
论文发现，同一个模型、同样的特权信息，只要被允许生成一段批判，定位错误的能力就明显变好。这构成了 critique-conditioned 自蒸馏的动机：先对当前 rollout 生成批判，再让评分教师以这段批判为条件去打分。这样得到的信号能够定位错误，在错误片段内部具有纠正作用，并且会把概率推向那些开启回退的 token，例如「Wait」「But」「Actually」。换言之，纠正性并非来自打分本身，而是来自先做一次显式的错误搜索。
测试时与冷启动的用法
论文进一步展示批判在两处有用。测试阶段，把批判放进上下文后继续一条已经走错的 rollout，可以解出模型靠采样解不出的数学题。在冷启动 GRPO 中，批判为那些仅靠可验证奖励拿不到任何信号的 prompt 提供了优势信号。这两点说明该方法不只是训练期的信号改造，也能在推理期直接改变模型能否完成任务。
为什么值得看
指出自蒸馏评分信号的结构性缺陷，并给出可落地的替代方案，对做推理 RL 与蒸馏的研究者直接相关。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。