ThinkPrior优化RLVR冷启动提示选择
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载零优势组带来的浪费
在采用可验证奖励的强化学习训练中，若以组相对策略优化方式更新，奖励优势项取决于同一组内各次采样结果的差异。当一组采样全部正确或全部错误时，组内相对优势会同时归零，这类组无法提供用于更新的梯度信号。论文给出的测量显示，在均匀采样下，一次训练运行中约 39% 的采样落在这种零优势组上。这一比例构成了该方法要处理的核心浪费来源，也解释了为何提示选择会直接影响训练效率。
用外部锚点先验替代试跑
以往依据历史记录挑选提示的做法，必须先消耗目标策略的采样才能估计题目难度，因此在首次采样之前存在冷启动阶段，采样预算会先被用于试探。ThinkPrior 改为在离线阶段一次性借助外部锚点完成难度估计：由验证器对锚点作答打分，得到通过率，再用它初始化一个 Beta 后验分布。这样在目标策略尚未产生任何采样之前，就已经存在一份难度先验，选择时按期望可学习性排序。该方法不修改损失函数，也不改动优化器，只改变提示的挑选顺序。首次选择之后，后验会依据目标策略的实际训练结果继续更新。
早期零优势组减半
在 Qwen2.5-Math-7B 上跨十六个随机种子的实验中，ThinkPrior 使训练早期的零优势组数量减少一半以上，并把截至第 30 步的无效采样削减接近五分之一。最终准确率方面，未检测到差异。由于该实验使用固定的 250 条提示池，预算固定时，效果体现为采样在提示之间的重新分配，而非总量的净节省。另一项组合实验把 ThinkPrior 与 DAPO 搭配，在两组保持相同的 3840 次采样更新预算的前提下，生成的采样总数下降 10.6%。
适用边界与使用条件
该先验的价值集中在首次选择之前，它不需要目标策略先跑一轮，但此后的后验完全依赖目标策略自身的训练结果来修正，因此外部锚点的质量会决定初始排序是否可靠。方法本身只作用于提示选择环节，不触及损失与优化器，便于叠加到现有流程上。需要留意的是，固定提示池下的收益来自预算重分配，若期望的是总采样量的绝对下降，则需结合具体配置判断；论文中报告的 10.6% 降幅来自与 DAPO 的组合设置，并非单独使用时的普遍结论。
为什么值得看
解决 RLVR 训练中的冷启动浪费问题，显著提升计算资源利用率。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。