arXiv 论文提出 TESD，用教师进化改进在线自蒸馏
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载OPSD 的失效原因
论文讨论的是 On-Policy Self-Distillation 这一路线：学生模型在特权上下文提示下，与充当教师的自身副本对齐 token 级分布，以此缓解序列级后训练中奖励稀疏的问题。作者观察到，这类方法在训练过程中往往无法持续带来收益，并把原因归结为模型的自教学能力存在上限——在某些样本上，自教师给出的指导并不可靠，学生照此对齐反而受限。这一判断把问题从「如何对齐」转向「教师信号本身是否可信」。
教师进化怎么做
针对上述问题，作者提出 Teacher-Evolution Self-Distillation（TESD）。自教师先自行生成 rollout，再接收环境反馈，反馈由两方面构成：任务是否正确，以及是否独立于上下文。这些奖励被用作训练目标，对教师侧做定向优化，使模型在蒸馏过程中持续增强自教学能力。也就是说，教师不是固定不变的参照，而是在训练中被一并改进的对象。
按可靠性给样本降权
TESD 的第二部分面向学生侧。作者利用同一组奖励估计教师指导的可靠性，并据此做自适应优化：对指导不可靠的样本降低权重，减少其对学生的负面影响。这样，教师优化提升信号质量，样本降权则过滤掉仍然不可信的指导，两者共同作用于蒸馏过程。论文强调，这体现了在 OPSD 中提升监督质量的必要性。
实验结论与定位
作者在多个数据集和多种模型规模上开展实验，结果显示 TESD 稳定优于代表性的 token 级与序列级方法。论文将自身定位为对 OPSD 监督质量的改进，而非提出全新的后训练范式；其结论指向一点：自蒸馏的效果不仅取决于对齐方式，也取决于教师信号是否可靠。材料未给出具体数据集名称、模型规模数值与提升幅度。
为什么值得看
做后训练与蒸馏的研究者可以关注：它把「教师质量」本身纳入优化目标，而不只是对齐分布。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。