注册

论文提出双时钟框架解释RLVR大批量训练效率下降

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇投稿于arXiv的论文研究可验证奖励强化学习（RLVR）中 rollout 批量大小与学习效率的关系。作者提出双时钟框架，把「取得进展所需样本」与「崩溃前消耗的样本」分开。在局部二次模型下，平方根学习率缩放规则能保持每样本一阶漂移，却不能保持进展：批量越大，更新次数越少、单步越长，曲率带来的损失更多，存在一个依赖学习率的临界批量，超过后样本效率下降。漂移阈值假设预测了另一个失败时钟，其样本数在平方根规则下近似不变。在 Qwen2.5-Math-1.5B 上跨 16 倍批量范围的 GRPO 对照实验支持上述两个预测。比率裁剪可推迟失败，尤其对大批量，但无裁剪时进展差距依然存在；放宽裁剪会以稳定性换取短暂加速。该进展差距在另一数据集、通用 checkpoint 和 7B 模型上重现。作者据此给出多步 RLVR 调度：从低于临界批量开始，在失败前切换到更大批量。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

双时钟框架的核心区分

论文关注可验证奖励强化学习（RLVR）中 rollout 批量与学习率缩放的问题。由于模型生成回答成本高，实践中倾向使用更大的 rollout 批量，并配合平方根学习率缩放。作者指出，这一规则在单步优化下大致能保持每样本进展，但在实际多步训练中理解不足。为此提出双时钟框架：一个时钟衡量取得进展所需的样本量，另一个衡量崩溃前消耗的样本量。两者分离后，可以分别讨论批量大小对学习速度与失败时机的影响，而不是把二者混为一谈。

临界批量与失败时钟

在局部二次模型下，平方根规则能保持每样本的一阶漂移，却不能保持进展。原因是更大的批量意味着更少但更长的更新，曲率造成的损失更多，于是出现一个依赖学习率的临界批量，超过该批量后样本效率下降。漂移阈值假设进一步预测了另一个失败时钟，其样本数在平方根规则下近似保持不变。也就是说，进展变慢与按计划失败是两个由不同机制支配的现象，不能仅靠调整批量同时解决。

实验验证与调度建议

作者在 Qwen2.5-Math-1.5B 上做了受控 GRPO 实验，批量范围跨越 16 倍，结果支持上述两个预测。比率裁剪可以推迟失败，对大批量尤其明显，但进展差距在没有裁剪时依然存在；放宽裁剪则用稳定性换取短暂的加速。该进展差距在另一数据集、一个通用 checkpoint 以及 7B 模型上重现。基于双时钟框架，作者给出一个简单的多步 RLVR 调度：从低于临界批量的规模开始，在失败发生前切换到更大的批量。代码已公开。

为什么值得看

大批量 rollout 是 RLVR 降本常用手段，该研究指出其存在临界批量与失败时钟，并给出可操作的调度策略。

Qwen强化学习论文数据集

信源1 家

  1. [1]arXiv cs.AI一手信源Two Clocks: Why Larger Rollout Batches Learn Slower but Fail on Schedule in Reinforcement Learning with Verifiable Rewards

关键事实

  • 论文提出双时钟框架，区分取得进展所需样本与崩溃前消耗的样本[1]

  • 在局部二次模型下，平方根学习率缩放保持每样本一阶漂移但不保持进展，存在依赖学习率的临界批量[1]

  • 在 Qwen2.5-Math-1.5B 上跨 16 倍批量范围的 GRPO 实验支持两个预测[1]

  • 比率裁剪推迟失败，尤其对大批量，但进展差距在无裁剪时仍存在[1]

  • 进展差距在另一数据集、通用 checkpoint 和 7B 模型上重现[1]

相关 · 论文

DreamX 将预训练视频扩散模型改造为通用潜在动作学习器

11月4日 周三·AI 78

arXiv 论文提出「认知共生体」概念，主张 AI 增强人的智能

11月4日 周三·AI 58

独立复现 DNO-Prct：Llama 3.1 8B 对 GPT-4o 胜率升…

11月4日 周三·AI 72

研究提出 PEARL 方法，用于持久抑制语言模型的不对齐行为

11月4日 周三·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论