新方法UECR-GRPO统一蒸馏与GRPO，数学推理准确率提升
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把验证器与教师信号合并
这项工作针对的是可验证奖励强化学习在数学推理上的一个短板：它只看最终答案对不对，对推理过程中的每一个词元几乎没有指导。在线蒸馏则能在学生自己生成的回答上给出密集反馈，但教师的偏好未必等同于答案正确。已有的混合做法，要么把在线蒸馏与验证器给出的优势值拼在一起，要么用教师比值去重新加权任务信用。问题在于，教师指导是在验证器做完组内归一化之后才进入的，而逐词元重新加权也不一定能保住每条回答原本分到的任务信用总量。作者提出的统一熵校准信用再分配方法，把验证器信号与教师信号放进同一个 GRPO 风格的更新里，同时在回答层面和词元层面起作用。
路径效用统一的做法
路径效用统一把验证器奖励与一条从教师到锚点的路径对数比合并进同一个带 KL 正则的目标函数。它的在线实现使用经过长度归一化的教师分数，并在组内归一化和 PPO 裁剪之前就把两种奖励合到一起，这样教师提供的证据就能影响回答之间的排序，而不只是事后微调。随后，熵校准再分配利用教师与旧策略之间带符号的词元差距，去重新分配来自验证器的那一部分信用。全词表教师熵用来削弱不确定的指导，而按回答做的零和投影则保证任务信用总量不变，并且在裁剪之前保持逐词元的符号。
适用范围与实测结果
这套方法面向的是数学推理任务，实验在五个数学推理基准上展开，学生模型分别采用 Qwen3-1.7B 与 Qwen3-4B，评价指标为 Avg@12 准确率。论文报告的结果显示，在这两个规模上，该方法都超过了各自规模下最强的基线，领先幅度分别为 0.89 和 0.56 个百分点。对读者而言，这意味着教师信号不必只在归一化之后作为补丁加入，而是可以在排序阶段就参与进来；同时，零和投影这一约束让逐词元的再分配不会悄悄改变整条回答应得的总信用，熵的引入则让教师把握不大的地方少说话。论文提交于 2026 年 9 月 23 日，作者为 Jie Zhang、Jingxiao Yang、Zhehao Huang、Yuhang Liu、Xiaolin Huang，编号 arXiv:2609.28385。
为什么值得看
统一验证器与教师信号，解决强化学习稀疏奖励与蒸馏偏好偏差问题，在数学推理上取得显著提升。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。