LM2LM 用强化学习训练模型提出语言模型改进方案
论文AI 评分 78/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
论文提出 LM2LM，用强化学习训练大模型生成有效的语言模型改进提案。为解决真实反馈成本高的问题，该方法用一个冻结的大模型充当「研究世界模型」，依据上下文中的真实实验记录预测提案收益，作为强化学习的奖励来源；同时定期把当前策略中排名靠前的提案真正跑一遍，并将实测结果补进上下文，以抑制奖励高估。在八个自回归与扩散语言模型开发环境中，LM2LM 让 Qwen3.8-27B 在留出任务上超过 GPT-6-sol，后者上下文中带有 300 条真实实验记录，且数据生成成本低 33%。该方法还能泛化到训练中未见过的模型家族。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载要解决的问题
论文关注的是让大模型自动提出语言模型改进方案这一方向。难点在于反馈的获取：用真实实验做强化学习，需要评估大量提案，而每个提案可能都要完整训练一次模型，奖励收集的开销难以承受。另一条路是用替代模型给反馈，但当策略优化偏向被高估的提案、提案分布发生偏移时，替代反馈会变得不可靠。LM2LM 的设计同时针对这两点。
世界模型当奖励源
LM2LM 用一个冻结的大模型充当研究世界模型，把真实实验记录放进上下文，让它预测某个提案能带来多少收益，并以此作为强化学习的奖励。为了让反馈保持可信，训练过程会定期挑出当前策略下被世界模型打高分的提案，真正执行并测量结果，再把这些实测结果补进世界模型的上下文。这样奖励信号既便宜，又能随策略变化被真实数据校正。
评测结果与泛化
作者在八个自回归与扩散语言模型开发环境中做了真实执行评测，并在留出任务上比较。结果显示，经 LM2LM 训练的 Qwen3.8-27B 表现优于 GPT-6-sol，即便后者上下文中提供了 300 条真实实验记录；同时 LM2LM 的数据生成成本低 33%。此外，该方法在训练阶段未见过的模型家族上也能生效，说明学到的提案能力并非绑定单一模型。
为什么值得看
把「提出模型改进方案」本身训练成模型能力，并用世界模型替代昂贵真跑，是自动化 AI 研究的一条可复制路径。
GPTQwen大模型强化学习论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。