CriticOPD 提出用教师批评修复同策略蒸馏的监督可靠性
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇 arXiv 论文指出，同策略蒸馏（OPD）默认教师模型能从学生写出的任意前缀推出正确答案，作者把这一性质称为教师的可恢复性，并证明它在学生出错时并不成立：教师会顺着学生的错误往下走，尽管它其实识别得出错误。为此作者提出 CriticOPD，让教师对错误轨迹给出批评，学生据此重写解答；带批评的版本由教师打分，而学生训练时只用不含批评的修订结果。在两个 Qwen3 学生模型和六个数学推理基准上，该方法优于 OPD，在竞赛题上提升最大。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载被默认假设掩盖的失效
同策略蒸馏的做法是让学生模型在自己的输出轨迹上接受教师逐 token 的监督，这一流程隐含了一个前提：无论学生写到哪一步，教师都能从该前缀出发走到正确答案。论文把这一前提命名为教师的可恢复性，并给出反例说明它并不总成立。当学生的轨迹已经出错时，教师会跟着学生的错误继续往下写，而并非纠正它——值得注意的是，教师本身是能识别出这个错误的。也就是说，识别错误的能力与在蒸馏中纠正错误的行为之间存在落差，这一落差直接污染了学生收到的监督信号。
用批评把错误变成可修正的监督
针对上述问题，作者提出 CriticOPD，思路是把教师的错误识别能力显式地用起来。流程上，教师先对一段错误轨迹给出批评，学生随后参照批评重写自己的解答。重写后的输出连同批评一起交给教师打分，此时批评相当于教师侧的额外信息；而学生真正用于训练的是去掉批评之后的修订版本。这样既让打分环节获得更完整的上下文，又避免学生在推理时依赖它拿不到的批评内容，训练与部署时的输入形态保持一致。
评测范围与提升位置
实验覆盖两个 Qwen3 学生模型和六个数学推理基准，CriticOPD 在这些设置下均优于原有的 OPD 方法。提升并非均匀分布，竞赛类题目上的增益最为明显——这类题目步骤长、中间出错概率高，恰好是教师可恢复性最容易失效的场景，与方法的动机相互印证。论文共 21 页，作者同时公开了代码链接，便于复现与在其它模型、其它推理任务上迁移验证。
为什么值得看
揭示了同策略蒸馏的一个被默认假设掩盖的失效点，并给出可复用的修复思路，做蒸馏与推理训练的人值得一看。
Qwen蒸馏论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。