VASPO：在 PPO 内融合特权价值估计与自蒸馏的推理优化方法
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载方法要解决的问题
论文关注 on-policy 自蒸馏为推理模型提供密集监督时的一个偏差：这种监督反映的是局部 token 偏好，而不是无引导学生续写的期望回报。已有做法把该信号与 GRPO 结合，用 GRPO 决定更新方向、用教师信号做缩放。作者认为在 PPO 框架内整合更有效，并据此提出 Value-Augmented Self-Distillation Policy Optimization（VASPO）。
两类信号的位置互补
作者识别出互补的位置动态：特权信息在回答接近末尾时更能提升 critic 的价值预测准确度；自教师指导则在生成初期较强，中段下降，最后回升。这一观察是 VASPO 设计的依据，也解释了为何简单叠加两种信号并非最优。
VASPO 的具体做法
VASPO 让自教师与 critic 在学生生成的前缀上评估同一份特权信息。critic 依据预测的续写回报计算 token 级 PPO 优势；自教师则通过有界概率比调节被选中的正优势。这样，价值估计负责给出优势方向，自教师信号在受约束的范围内对部分正优势做调制。
评测结果与可用性
在六个数学推理基准上，VASPO 相比 PPO 在 Qwen3-4B 与 OLMo3-7B 变体上的平均准确率分别提升 2.59 与 1.81 个百分点，并在 Knights and Knaves 上取得所评估方法中的最高平均准确率。论文提供了代码链接，便于复现与进一步比较。
为什么值得看
给出自蒸馏与 PPO 结合的具体做法和可复现的准确率提升数字，做推理模型 RL 训练的人可直接对照。
信源1 家
关键事实
论文标题为 VASPO: Self-Distillation with Privileged Value Estimation，作者为 Fei Wu、Zhenrong Zhang、Jianshu Zhang、Jun Du。[1]
作者指出特权信息在回答后段提升 critic 价值预测精度，自教师指导在生成初期强、中段下降、末尾回升。[1]
VASPO 让自教师与 critic 在学生生成的前缀上评估同一特权信息，critic 计算 token 级 PPO 优势，自教师用有界概率比调节正优势。[1]
在六个数学推理基准上，VASPO 相比 PPO 在 Qwen3-4B 与 OLMo3-7B 变体上平均准确率分别提升 2.59 与 1.81 个百分点。[1]
VASPO 在 Knights and Knaves 上取得所评估方法中的最高平均准确率，代码已公开。[1]
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。