HP-RLVR：单次采样实现 token 级信用分配，训练提速最高 2.3 倍
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载单次采样替代分组采样
这项研究关注的是带可验证奖励的强化学习，也就是从被检验过的任务结果出发去训练语言模型。难点在于，一个最终结果如何分摊到推理过程中的每一个词元或动作上。分组相对方法（例如分组相对策略优化 GRPO）会针对同一个提示采样多次尝试，但当所有尝试拿到相同结果时，基于奖励的学习信号就消失了。作者提出的 HP-RLVR 走的是单次轨迹路线，把一条已完成轨迹自身的未来转化为词元级别的更新权重，不再依赖多次采样。
用后见视角给词元打分
具体做法是：生成策略快照在两种条件下为每个符合条件的词元打分，一种是在它自身的因果历史下，另一种是在包含已实现未来与验证器反馈的后见上下文下。两个视角之间的归一化 Jensen-Shannon 散度被用来给奖励加权，权重相对于一个历史基线，从而为成功和失败的尝试都给出有界的词元信用。整个过程不需要参考解，也不需要学习出来的评论家模型。
与 GRPO 的对比结果
在配对的 Qwen3-8B 运行中，两者共用同一套 100 步的训练安排。HP-RLVR 在数学、代码生成和 ALFWorld 上分别比 GRPO 快 1.21 倍、1.46 倍和 2.30 倍，而每个提示所用的采样次数只有后者的八分之一。整体准确率相当：在数学上 HP-RLVR 在三个规模上都领先，在代码和 ALFWorld 上则是 GRPO 领先。在 ALFWorld 中，GRPO 的梯度范数记录有相当一部分为零，HP-RLVR 则没有出现这种情况。
适用范围与读者意义
该方法的价值在于把学习信号从多次采样的比较中解放出来，转而利用轨迹自身的后续信息，因此对采样预算受限、或同一提示下结果容易趋同的场景更有意义。它同时适用于成功与失败的尝试，且不引入参考解与评论家模型，减少了额外组件。不过论文给出的准确率对比并非全面占优，数学之外的任务上 GRPO 仍有优势，说明方法效果与任务类型相关。
为什么值得看
GRPO 在全对或全错时失去学习信号，该工作用单次采样给出 token 级信用，并给出多任务训练速度与零梯度比例的实测…
信源1 家
关键事实
论文提出 Hindsight-Privileged RLVR（HP-RLVR），一种单次 rollout 方法，把已完成轨迹自身的未来转化为 token 级更新权重[1]
方法用归一化 Jensen-Shannon 散度在因果历史视图与含已实现未来和验证器反馈的后见视图之间加权奖励，相对历史基线给出有界 token 信用，无需参考解或学习型 critic[1]
在 Qwen3-8B 的 100 步配对实验中，HP-RLVR 在数学、代码生成、ALFWorld 上训练分别比 GRPO 快 1.21 倍、1.46 倍、2.30 倍，每 prompt 的 rollout 用量为八分之一[1]
整体准确率相当，HP-RLVR 在三个规模的数学任务上领先，GRPO 在代码与 ALFWorld 上领先[1]
ALFWorld 中 GRPO 有 43.2%（4B）和 49.0%（8B）的梯度范数记录为零，HP-RLVR 没有零记录[1]
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。