研究显示单样本训练即可实现大模型蒸馏大部分性能提升
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载单条查询也能训练
这项研究把在线策略蒸馏的训练数据压缩到极小规模，只用一条查询做训练，观察学生模型能否持续从教师模型的逐词监督中获益。结果显示，单条查询的训练在数百步内仍在改善，并且在多个任务领域和不同模型家族上，都能复现使用完整数据训练所取得的大部分收益。作者由此把关注点从算法本身转向训练数据所起的作用，认为此前工作多集中在算法行为上，对数据角色的讨论并不充分。
状态覆盖解释收益
作者用训练过程中访问到的状态来解释上述现象，并提出状态覆盖这一度量，即某组查询的采样轨迹能够触达完整数据训练所访问状态的比例。单条查询即可达到七成以上的覆盖，其中大部分在前一百步内完成。随着语义上彼此不同的查询被加入，覆盖率和验证准确率同步上升，直到十六条查询时覆盖接近全部，并与完整数据训练持平。这一覆盖结论也延伸到多教师在线策略蒸馏，每个领域使用十六条语义多样的查询即可与完整数据多教师训练相当。
对齐速度才是瓶颈
与数据量带来的快速覆盖形成对照的是，学生模型与教师模型对齐的速度并不随数据增加而明显加快。无论只用一条查询还是使用整个数据集，对齐放慢的节奏相近；即便给定一组固定的状态，学生也需要数百步才能吸收。作者据此判断，在线策略蒸馏处于数据过量供给而算法效率不足的状态：采样轨迹很快就能暴露出广泛的监督信号，学生消化这些信号却越来越慢。
内容与覆盖可分离
研究还做了进一步的施压测试，内容稀薄的模板以及领域外的对话查询，同样能接近真实查询的基线表现。这说明任务内容与由此诱导出的状态覆盖可以彼此分离，覆盖本身而非查询的具体内容在起作用。作者希望这些发现把后续工作引向在线策略蒸馏的步数效率，并促使重新审视数据以及近期后训练成功背后的机制。
为什么值得看
揭示了大模型蒸馏中数据与算法的复杂关系，为提高训练效率提供新方向。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。