MGE-PO 提出熵感知信用分配方法，提升数学推理表现
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载方法出发点
论文指出 GRPO 的一个具体缺陷：同一个问题下，奖励相同的若干条回答会被赋予完全一样的组内相对优势，这些回答在生成时表现出的不确定性差异因此被丢弃。MGE-PO 的做法是在原有优势之外再加一项修正，用四象限划分把两个信号拼在一起——回答经核验的对错决定这项修正取正号还是负号，rollout 生成时的熵决定修正的绝对大小。落到规则上，熵较低的成功回答拿到更大的奖励加成，熵较高的失败回答承受更重的惩罚。这样同一组内得分相同的样本不再被同等对待，训练信号里多了一层对生成确定性的区分。
配套的题目课程
为了让上述信用规则在训练中稳定发挥作用，作者还设计了一个基于熵的在线题目课程。它依赖缓存的 rollout 测量值来安排题目，不需要为课程额外重新采样，因此这套机制与优势塑形是配套出现的，而不是独立的模块。论文把这一整套配置称为完整配置，并在两个基座模型上分别报告了加入四象限塑形前后的对比结果。
量化结果
在 Qwen3-8B-Base 上训练八个 epoch 后的最终 checkpoint 上，把 4Q 加到三种不同的策略优化设置中，六基准 macro avg@32 取得 3.23-3.69% 的绝对增益，macro pass@32 的绝对增益为 4.24-11.06%。在 Qwen2.5-7B-Base 上，完整配置把四基准 macro avg@32 从 41.5% 提高到 45.4%。这些数字对应的是同一基座、同一评测口径下加入该修正前后的差异，可作为判断改动幅度的直接参照。
适用范围与限制
材料给出的验证集中在数学推理任务上，评测指标为 macro avg@32 与 macro pass@32，基座为 Qwen3-8B-Base 与 Qwen2.5-7B-Base 两个规模。论文未在摘要中说明该方法在数学之外的任务上是否同样有效，也未给出与 GRPO 之外其他信用分配方案的直接对比。对打算采用的人来说，可复现的关键在于四象限的符号与幅度规则、以及依赖缓存 rollout 测量的在线熵课程这两部分的实现细节。
为什么值得看
给出了不改变奖励信号、仅重分配优势的轻量改法，并附多基准量化增益，做数学推理 RL 训练的人可直接对照复现。
信源1 家
关键事实
GRPO 对同一问题下获得相同奖励的回答分配相同的组内相对优势，未利用其生成不确定性[1]
MGE-PO 的核心是四象限优势塑形，把验证正确性与 rollout 生成熵结合[1]
正确性决定附加修正的符号，熵控制幅度：低熵成功获得更大奖励，高熵失败受到更大惩罚[1]
在 Qwen3-8B-Base 上训练八个 epoch 后，三种策略优化设置加入 4Q 使六基准 macro avg@32 绝对提升 3.23-3.69%，macro pass@32 提升 4.24-11.06%[1]
在 Qwen2.5-7B-Base 上完整配置把四基准 macro avg@32 从 41.5% 提升到 45.4%[1]
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。