CCL算法解决LLM蒸馏中的教师偏差
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把校准与学习绑在一起
这篇论文关注的是大模型蒸馏中的一个老问题：能力强的教师模型把本事教给较小的学生模型时，直接模仿会把教师自身的系统性偏差和错误一并传过去。当目标问题上的数据分布与训练时不同、教师在这些问题上的可靠性说不准，而目标领域又拿不到奖励反馈时，这个麻烦会更突出。作者提出的做法叫耦合校准与学习（CCL），核心是把教师校准和学生更新通过 token 级分支串成一个闭环：每一轮先用源问题上的奖励反馈把教师校准一遍，再用校准后的教师去教学生回答目标问题；学生更新之后，又会反过来影响下一轮对教师的校准。整个流程只在源问题上使用奖励反馈，目标问题上不需要任何奖励信号。
收敛速度有多快
作者在自回归策略框架下给出了理论结果：学生输出与 oracle 学生之间的期望平均 KL 散度，会随迭代次数以多项式速率收敛到零。这里的 oracle 指的是在学生策略类内部、使真实参考正则化目标奖励最大的那个策略，它并不等于不受限制的最优策略。分析同时刻画了两件事的进度：学生投影梯度更新往前走了多少，以及教师校准环节的误差被控制在什么范围。换句话说，论文不只给出一个算法，还说明了在教师存在偏差、目标域没有奖励反馈的条件下，学生为什么仍能逐步逼近该类策略中的最优解。
与直接匹配的分界
论文进一步把 CCL 与正则化直接匹配区分开来。对直接匹配而言，即使教师拿到的正则化目标奖励比任何一个学生策略都高，它相对 oracle 学生的误差仍可能停留在一个远离零的水平上，不会自动消失。作者据此论证：教师本身表现更好，并不保证模仿出来的学生也更好；而通过校准与学习的耦合，蒸馏过程可以越过教师持续存在的偏差，在没有目标域奖励反馈的情况下找回最优学生。这一对比构成了论文对直接模仿路线的主要反驳。
读者能拿走什么
对做模型压缩和下游适配的读者来说，这项工作的实际含义是：当目标场景缺少可用的奖励信号、又担心教师把偏差带下来时，可以把有限的反馈集中用在源问题上，让教师校准与学生训练交替推进，而不是一次性把教师输出当作标准答案去拟合。需要留意的是，论文的保证建立在自回归策略框架和特定算法结构之上，收敛结论针对的是学生策略类内部的 oracle，而非无约束最优策略；文中也未涉及目标域反馈可得时的表现。材料给出的信息到此为止，具体实现细节与实验设置需回到原文核对。
为什么值得看
解决无目标域反馈时的蒸馏偏差难题，理论保证收敛性。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。