新方法γOPD提升大模型同策略蒸馏效果
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载两种蒸馏目标的取舍
在线策略蒸馏（OPD）已被用于大语言模型的后训练，但现有目标函数在保真度与优化稳定性之间难以兼顾。按材料给出的划分，token 级 OPD 的监督信号稳定，却只覆盖局部范围；sequence 级 OPD 能纳入后续的信用分配，代价是方差随视野长度变化。作者把这两类做法放进同一个时间信用框架里考察，指出实际使用的 token 级 OPD 可以看作对 sequence 级 reverse-KL 梯度的一种时间近似。这一对应关系构成了后续方法设计的出发点：局部监督并非与序列级目标无关，而是后者在时间维度上被截断后的形态。
折扣信用与方差界
在此关系之上，作者提出 γOPD，用带折扣的时间信用分配来调和长视野监督与优化稳定性之间的矛盾。材料强调该方法具有与视野长度无关的方差上界，也就是说，监督覆盖的时间跨度拉长时，优化过程的波动不会随之放大。这一点针对的正是 sequence 级做法中方差随视野变化的短板：既保留对后续结果的信用分配，又不让训练稳定性随视野扩展而恶化。折扣的引入使不同时间距离上的信用以递减权重进入目标，从而在局部稳定与长程监督之间取得折中。
结果反馈与教师信号混合
作者还为 γOPD 设计了奖励兼容的有界混合（RBM）机制，把可验证的结果反馈与折扣后的 OPD 优势结合起来，使优化不再单纯依赖教师模型。材料将这一机制描述为在两类信号之间做有界混合，从而在保留教师指导的同时引入任务结果层面的判断。这样做的意义在于，蒸馏目标不必完全跟随教师分布，结果反馈也能参与对模型行为的塑造。材料没有给出混合权重的具体取值或边界形式，只说明其作用是平衡可验证结果反馈与折扣 OPD 优势。
实验覆盖与适用场景
实验集中在数学与代码推理两类任务上，覆盖三种设置：常规蒸馏、教师与学生规模不匹配的蒸馏，以及多教师蒸馏。材料称，在这些设置下 γOPD 相对现有 OPD 方法均取得了一致提升。由此可以判断，该方法面向的是大语言模型后训练中的在线策略蒸馏环节，关注的是如何在保持训练稳定的同时把监督延伸到更长的时间范围，并让结果反馈参与优化。材料未披露具体模型规模、训练数据量或提升幅度，因此这些方面的细节无法从现有信息中确认。
为什么值得看
解决大模型后训练中蒸馏过程的稳定性与效果权衡问题，提升推理能力。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。