PICO：用策略兼容联合解码解决 RLVR 全失败样本难题
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载全失败样本为何无信号
论文从可验证奖励强化学习（RLVR）的机制入手：这类方法依靠 on-policy 探索，从二值奖励中提取学习信号，是提升大模型推理能力的常用范式。问题出现在难度超出模型当前能力边界时——每一次 rollout 都失败，这批样本里不含任何关于正确解的信息。此时 GRPO、RLOO 这类组相对估计器会把更新压缩为零优势，学习过程直接停摆，作者称之为学习悬崖。引入专家轨迹看似是补救手段，但专家数据与当前策略并不兼容，往往落在学生模型的低概率区域；勉强保留下来的更新需要很大的参数偏移，最终退化成对表面的模仿，而非可迁移的推理能力。
PICO 的解码约束设计
作者提出的判断是：难题上的有效学习信号必须同时满足两点——可验证正确，且与当前策略足够兼容。据此设计的 Policy-Compatible Reinforcement Learning（PICO）采用分布约束的联合解码：专家数据在 token 级别引导解码过程，但不覆盖学生模型自身的相对 token 概率排序；同时引入动态 top-k 机制，把采样分布限制在一个有限的散度预算之内。这样构造出的轨迹天然具备两个属性：能通过验证，且与当前策略保持兼容，从源头上避免了专家轨迹落入低概率区带来的剧烈参数偏移。
混合行为目标与实验表现
在得到上述轨迹后，PICO 将它们与 on-policy rollout 放在混合行为目标下联合优化，并借助重要性采样缓解两类数据之间的分布不匹配。实验覆盖多个推理数据集与 agentic 基准，结果显示 PICO 相对标准 RLVR 以及此前的 off-policy 基线保持稳定优势。论文于 2026 年 10 月 27 日提交至 arXiv，编号 2610.36849，归类为 cs.LG 与 cs.AI。
为什么值得看
RLVR 在难题上全失败即无学习信号，是当前推理模型训练的实际瓶颈，该文给出可复用的解码级解法。
信源1 家
关键事实
RLVR 依赖 on-policy 探索从二值奖励获取学习信号，在超出模型能力的问题上，所有 rollout 失败时样本不含正确解信息[1]
GRPO、RLOO 等组相对估计器在全失败情况下会把更新坍缩为零优势[1]
专家轨迹与当前策略不兼容，常落在学生的低概率区域，导致更新需要大幅参数偏移并退化为表层模仿[1]
PICO 采用分布约束的联合解码，token 级专家引导保留学生相对 token 概率，动态 top-k 在有限散度预算内约束采样分布[1]
生成的轨迹与 on-policy rollout 在混合行为目标下联合优化，用重要性采样缓解分布不匹配，并在推理数据集与 agentic 基准上优于标准 RLVR 及先前 off-policy 基线[1]
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。