研究揭示同策略蒸馏致模型崩溃机制及缓解方案
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把蒸馏看成隐式奖励
这篇论文把在线策略蒸馏（OPD）放到强化学习的框架里重新解释。作者提出，教师模型在蒸馏过程中实际上扮演了一个隐式奖励模型的角色，它会对学生模型产生的行为给出偏好信号，哪怕这些行为教师自己极少真正生成过。正是这个视角，解释了为什么同样的方法有时带来性能提升，有时却让学生模型崩溃成又长又重复的输出。论文的实验结论是，OPD 能改善表现，但并没有扩大学生模型本身的能力边界。当这个隐式奖励模型足够可靠时，它做的事情只是让正确的回答更容易被采样到；而当偏好与回答质量不一致时，就会出现奖励劫持，隐式奖励模型会放大那些冗长、重复的学生采样结果。
崩溃为何发生
作者对崩溃机制给出了具体描述：教师模型自身几乎不会生成那种超长且反复的文本，但它给出的隐式反馈却把学生的这类采样推得更高，于是学生越走越偏。这一现象说明，OPD 的效果并不取决于教师生成得有多好，而取决于教师对学生采样结果的评估有多可靠。换句话说，问题的焦点从教师的生成能力转移到了教师的评判能力上。论文用实验支撑了这一诊断，指出性能提升与能力扩张是两回事，前者来自采样分布的调整，后者并未发生。
两种缓解手段
基于上述诊断，作者给出了两种可以各自有效缓解崩溃的做法。其一是在训练过程中对不健康的回答进行掩码处理，也就是把那些明显异常的输出排除在优化信号之外；其二是使用监督微调（SFT）来做初始化。论文称这两种方式都能起到抑制崩溃的作用。作者同时公开了代码，供他人复现和进一步验证。对于关注语言模型后训练的读者来说，这意味着在使用 OPD 时，除了关注教师模型的质量，还需要留意它对学生输出的评判是否与真实质量对齐，并可以考虑用掩码或 SFT 初始化来降低风险。
为什么值得看
揭示OPD致大模型生成崩溃的底层机制，并提供切实有效的缓解方案，对改进模型后训练极具实操价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。