EliteReplay：用质量-多样性搜索缓解RL后训练解多样性收窄
论文AI 评分 72/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇 arXiv 论文提出 EliteReplay，针对强化学习后训练会让大模型输出解法趋于单一的问题。做法是把 GRPO 与一个由质量-多样性搜索构建的「精英」档案库配对：训练前用冻结的基座模型收集覆盖不同思路的解法，训练中在 GRPO 上叠加对该档案库的回放损失。在多个 text-to-SQL 任务上，该方法的 pass@128 高于全部基线，产生的不同正确策略最多比最强基线多 77%，并保留了基座模型的大部分正确策略。在 AmbiQT 的歧义问题上，同时覆盖两种解读的频率约为最强基线的两倍。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载要解决的问题
强化学习已成为在可验证任务上提升大模型准确率的常见后训练手段，但这类训练会收窄模型能够产出的解法集合，形成行为锐化。已有工作尝试缓解这一现象，不过它们优化的指标往往并不能反映正确解法的多样性。论文提出的目标是让模型能给出多个好解法，而不只是唯一一个可靠解法。这一出发点决定了后续方法的设计方向：多样性不是附带效果，而是与准确率并列的优化目标。
方法怎么搭
EliteReplay 的核心是把 GRPO 与一个「精英」档案库配对，档案库由质量-多样性搜索构建。训练开始之前，先用冻结的基座模型去收集解法，这些解法要跨越彼此不同的思路，从而构成一个覆盖多种策略的参考集合。进入训练阶段后，除了 GRPO 本身的优化，还额外加入一项针对该档案库的回放损失。这样模型在提升准确率的同时，仍被拉向基座模型原有的多样解法，而不是只收敛到单一路径。
实验表现
在多个 text-to-SQL 任务上，EliteReplay 的 pass@128 超过所有基线，并且产生的不同正确策略最多比最强基线多出 77%。在策略保留方面，它留住了基座模型的大部分正确策略，表现优于现有方法。这种多样性还带来实际收益：在歧义问题上，模型需要同时照顾多种解读，EliteReplay 在 AmbiQT 上同时覆盖两种解读的频率接近最强基线的两倍。
为什么值得看
RL 后训练常以牺牲解法多样性换取准确率，这里给出了兼顾两者的具体配方与量化结果。
大模型强化学习论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。