SetGRPO 提出校准评分器随机性的新强化学习框架
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载问题出在系数而非分数
论文关注的是基于评分细则的强化学习：用细粒度评分器反馈在开放式任务上训练大语言模型。作者指出，评分器的随机性会以分数差异无法描述的方式改变 GRPO 的更新。原因在于 GRPO 会在每个响应组内对奖励做联合归一化，再把得到的训练系数与响应级梯度结合，因此一处评分偏差可能改变整组的系数，并引发依赖当前策略的更新变化。此外，选择性执行还会影响被保留更新的方向反转风险。这一分析把问题定位在训练系数的稳定性上，而不是单纯提高评分准确率。
三个模块如何配合
SetGRPO 由三部分构成。联合奖励集校准为训练系数构造一个联合不确定集，用来容纳评分器带来的不确定性。几何引导的安全恢复把候选系数映射进当前策略的局部更新几何，并据此为每个响应组算出可接受的最大安全恢复比例。选择性风险门控优化则通过独立的风险校准选取一个全局阈值，在保留原始 GRPO 目标的前提下，控制被接受更新的条件方向反转风险。三者串联后，方法在筛选更新时同时考虑系数不确定性与方向风险。
理论保证与实验表现
在可交换性假设下，作者给出两项性质：联合系数集具有有限样本的边际覆盖，且多个候选阈值之间可实现同时风险控制。实验方面，论文在覆盖三个领域的十个开放式基准上，与多种训练方法对比，SetGRPO 在 Qwen3.5 和 Llama3.2 两个模型家族上都取得最高的宏平均。论文未在摘要中给出具体提升幅度与各基准的单项数值，相关细节需查阅原文。
为什么值得看
评分器噪声如何影响 GRPO 更新此前缺少刻画手段，这篇给出了带风险控制的修正方案与多基准结果。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。