GIST 提出离线 RLVR 两级数据选择方法，监督 token 减少 66.…
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载问题起点与理论依据
离线 RLVR 在固定的采样响应池上训练，常规做法是对每条响应的每个 token 都施加监督，但响应之间、token 之间的信息量并不相同。作者把「该监督哪些」这一问题放到 KL 正则化 RLVR 的 Gibbs 最优策略框架下考察：离线训练实际瞄准的就是这个最优策略，而策略与目标之间的偏差可以用双向 KL 散度来度量。在参考策略处，这一偏差可以精确分解，从而把正确响应与错误响应区分开来——前者主要经由前向项起作用，且集中在低概率 token 上；后者主要经由反向项起作用，集中在策略频繁生成的那些响应及其高概率 token 上。
两级选择如何落地
基于上述分解，GIST 用训练前即可获得的信号来近似这些原则，分为响应级与 token 级两层。响应级上，它借助采样温度来挑选正确响应，并把错误响应的选择范围收拢到策略众数附近；token 级上，它利用初始策略给出的 token 概率，只对偏差真正所在的 token 施加监督，而不是覆盖整条响应。这样做的结果是监督信号更集中，训练时处理的 token 数量下降。
实验结果与对比
作者把 GIST 应用到两个离线训练目标上，三个模型在 GSM8K、MATH-500、MBPP 三个基准上的平均准确率都得到提升。在 Qwen3-0.6B 与 GSM8K 的受控对比中，GIST 在同一批候选中进行选择，表现优于七个选择基线，同时监督的 token 数量比在同一批 prompt 的全部候选上训练少 66.6%。论文编号为 arXiv:2611.06395，归入 cs.AI 与 cs.LG。
为什么值得看
离线 RLVR 的数据与 token 监督通常不加区分，这篇给出了可提前计算的筛选依据，并报告了 token 用量与准…
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。