Info-GRPO 用隐变量互信息替代熵正则，AIME24 上优于 GRPO
论文AI 评分 72/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
针对 GRPO 训练长思维链时易出现的策略崩溃问题，论文提出 Info-GRPO：不再对每个 token 普遍抬高熵，而是训练时给提示词附加隐种子，利用隐变量与其诱导轨迹之间的互信息，让模型探索与先验相关的多样策略，同时让以种子为条件的熵趋向收敛，使多样性体现在整条推理轨迹上而非逐 token 随机。实验显示其在多个推理基准上优于原始 GRPO 与熵正则化 GRPO；在 AIME24 上，四个骨干模型的 Avg@8 分别比 GRPO 提升 3.75%、1.66%、4.16%、4.17%，并以 8 倍更少的样本达到相同的多数投票准确率。代码与模型将公开，论文已被 NeurIPS 2026 LCFM 研讨会接收。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载熵正则的冲突在哪
材料把问题定位在长轨迹场景下熵正则化的内在矛盾：GRPO 训练出的思维链可达数千 token，而熵正则的做法是把概率质量从少数高概率 token 推向词表中大量低概率的长尾，并且对推理轨迹的每一个 token 都施加一次这样的推力。这种奖励与收敛所需的熵衰减方向相反，系数在长轨迹条件下很难设定。Info-GRPO 的出发点就是绕开这一冲突，而不是继续调参。
用隐种子承载多样性
Info-GRPO 被描述为一个信息论框架，核心是培养策略与一个隐先验之间的相关性。具体做法是在训练时给提示词附加隐种子，使模型能够探索与先验相关的多种策略；同时，以种子为条件的熵被引导走向收敛。这样多样性由整条推理轨迹承载，而不是靠逐 token 的随机性，探索与熵下降不再互相拉扯。
实验数字与开放情况
论文报告 Info-GRPO 在多个推理基准上超过原始 GRPO 和熵正则化 GRPO。AIME24 上，四个骨干模型的 Avg@8 相对 GRPO 分别提升 3.75%、1.66%、4.16% 和 4.17%，并以 8 倍更少的样本达到相同的多数投票准确率。论文共 28 页、6 幅图，被 NeurIPS 2026 的 Workshop on Long-Context Foundation Models 接收，代码与模型将公开发布。
为什么值得看
长思维链 RL 训练中的策略崩溃与熵系数难调是常见痛点，这里给出了可替换熵正则的框架和量化收益。
推理模型论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。