arXiv 论文提出无数据自训练框架，模型自生成问答实现自我提升
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇提交至 arXiv 的论文把 on-policy 自蒸馏改写为自训练框架：模型仅凭粗粒度的高层主题描述，自行合成问题与带特权信息的推理过程，不需要人工整理的提示、答案或真实问答对。作者称，在完全合成的特权信息上做自蒸馏，模型能在多个领域提升，同时保留未参与自训练领域的能力；该框架在文本与多模态任务上均得到验证，在标准语言基准和视觉问答上表现出一致的自我改进。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载方法：把自蒸馏变成自训练
论文关注的是 on-policy 自蒸馏这一后训练路径：它不需要更强的外部教师模型，但既有做法仍依赖真实问答对、人工筛选的题目集或其他监督信号。作者把这一过程重新表述为自训练框架，监督信号全部来自模型自身——由模型生成问题，并给出带有特权信息的推理演示，再以这些自产样本进行蒸馏。这样做的关键在于把监督来源从外部数据转为模型内部生成的内容。
监督被压到只剩主题描述
作者把外部输入压缩到极限：只给出粗粒度、高层的主题描述，模型据此自行合成查询课程与特权推理轨迹，全程不接触人工撰写的提示或答案。论文称，在完全合成的特权信息上做自蒸馏，模型能在多个领域取得提升，同时在未被自训练的领域上保持原有能力，说明这种自我改进并未以牺牲其他能力为代价。
文本与多模态上的一致性
作者在文本和多模态两类场景中验证了框架的通用性，在标准语言基准和视觉问答任务上都观察到一致的自我改进。论文据此提出，基础模型本身具备丰富的潜在能力，无需外部任务监督或人工设计的问题分布即可被放大。材料未给出具体基准名称、提升幅度与模型规模，这些细节需查阅原文确认。
为什么值得看
若成立，后训练可摆脱对人工标注问答与更强外部教师的依赖，降低数据成本，值得关注其可复现性与适用边界。
多模态蒸馏论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。