新方法γOPD提升大模型同策略蒸馏效果
论文AI 评分 65/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
针对大模型同策略蒸馏中目标保真度与优化稳定性的矛盾，研究提出γOPD方法。该方法利用折扣时间信用分配，在保持优化稳定性的同时实现长视界监督，并具有与视界无关的方差界限。实验显示，在数学和代码推理任务中，该方法在多种蒸馏设置下均优于现有方法。
为什么值得看
解决大模型后训练中蒸馏过程的稳定性与效果权衡问题，提升推理能力。
大模型蒸馏
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。