SimOPD 提出用响应相似度做在线蒸馏，跨架构平均提升 3.1 个百分点
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载现有蒸馏监督的两个问题
论文针对在线策略蒸馏（OPD）中的核心难点：如何从教师知识中提取有效监督。作者给出两条既有路径的局限。其一是基于 token 概率的监督，这类信号可能没有充分利用教师模型的内部知识。其二是直接匹配隐藏状态，这种做法会迫使学生模型迁移到教师的特征空间，跨架构迁移因此变得复杂。SimOPD 的出发点就是绕开这两个问题，寻找一种既用上内部表示、又不要求两边特征空间对齐的监督形式。
用响应相似度替代特征对齐
SimOPD 借鉴对比学习利用实例间关系的思路，把教师内部知识以响应相似度的形式传递。具体做法是维护成对记忆库，存放学生生成的响应；教师内部表示在这些响应上被转成相似度分布，作为监督信号。学生模型随后在自身的表示空间内匹配这些分布，而不是去拟合教师的隐藏状态。这样学生保留了表示上的自由度，也省去了跨模型投影这一环节，使同架构与跨架构场景可以共用同一套流程。
实验增益与适用范围
论文报告了较完整的实验结果：在同架构设置下，SimOPD 的整体平均成绩比最强基线高出最多 2.6 个百分点；在跨架构设置下，这一数字为 3.1 个百分点。跨架构场景的增益略高，与方法设计目标一致，即避免学生被迫迁就教师特征空间。论文由 Kai Tang、Xing Zheng、Haobo Wang 等九位作者完成，提交于 2026 年 10 月 16 日，编号 arXiv:2610.23306，同时归入 cs.AI 与 cs.CL 两个分类，全文与 HTML 版本已在 arXiv 公开。
为什么值得看
蒸馏监督信号怎么选直接影响小模型效果，这篇给出不依赖跨模型投影的替代路径，并附同架构与跨架构两组增益。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。