DIAL-OPD 提出按学习价值选 token 的在线蒸馏方法
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载少 token 反而更好
论文关注在线策略蒸馏（OPD）：用 token 级别的教师信号去监督学生自己生成的轨迹。它的采样 token 变体省去了计算全词表概率的开销。作者在实验中发现，只用更少的 token 训练，效果可以超过使用全部 token 的 OPD，这与「监督越多学得越好」的直觉相冲突。这一现象促使他们把问题从「用多少 token」转向「用哪些 token」，即按学习价值来挑选参与训练的 token。
low-low token 为何有害
已有的基于分歧的挑选准则只看师生是否意见不一致，却忽略了概率的尺度。作者指出，被教师和学生都赋予极小概率的 token（称为 low-low token）会得到很大的对数比奖励，这类 token 会拖累学习。DIAL-OPD 的做法是在对数概率空间与概率空间之间搭桥：用教师概率与学生概率的对数均值来对奖励幅度加权，再由参数 beta 控制这一加权的强弱，最后保留得分最高的那部分 token。分析显示，适中的 beta 能在压制 low-low token 与保留有用分歧之间取得平衡。
基准上的表现
实验覆盖 4 组师生配对和 7 个数学推理基准，对比对象包括 9 个基线。在只保留 40% token 的情况下，DIAL-OPD 超过了 Vanilla OPD 及其全 token 变体，平均准确率相对 Vanilla OPD 的提升达到 5.25 个百分点，AIME25 的 Pass@16 从 13.33% 提高到 26.67%。在相同保留比例下，它的平均准确率相对最强的 token 选择基线最多有 18% 的相对提升。此外，使用 4B 教师时，DIAL-OPD 在两个学生规模上都超过了使用 8B 教师的最强全 token 基线，说明监督如何分配可以比单纯放大教师规模更有效。
token 层面的证据
作者进一步从 token 层面观察，DIAL-OPD 会过滤掉那些奖励高但推理价值有限的 token，同时保留对推理正确性起关键作用的监督信号。这一观察与前面的结论相呼应：并非所有高奖励 token 都值得学习，选择标准需要同时考虑概率尺度与推理价值。论文还给出了方法在 cs.CL 与 cs.AI 分类下的 arXiv 编号与 DOI 信息。
为什么值得看
只保留四成 token 就能超过全量监督，还给出选 token 的具体加权方式，做蒸馏与推理训练的人可直接对照复现。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。