注册

arXiv 论文提出 VAG 门控方法，改进多模态强化学习中的自蒸馏

论文AI 评分 68/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇提交至 arXiv 的论文针对多模态可验证奖励强化学习（RLVR）与在线自蒸馏（OPSD）结合时出现的「特权纠正污染」问题展开研究：当教师模型带有以证据为中心的视觉视角时，其给出的 token 级纠正可能混入语言先验、回答风格或特权视角本身带来的非视觉偏移，直接蒸馏这类纠正会强化错误的 token 更新。作者提出视觉可归因在线自蒸馏，并用 Visual-Attribution Gating（VAG）实现：以验证器给出的优势值作为优化锚点，对比「有证据」与「证据退化」两种教师视角，只接纳方向与该视觉对比一致的纠正。在六个视觉推理基准上，VAG 的评测表现优于 GRPO 与 OPSD，平均成绩达到新的最优。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

问题出在纠正的来源

多模态强化学习配合可验证奖励（RLVR）能给出可靠的任务级监督信号，但对视觉推理中错误具体出现在哪一步、哪个 token，指导有限。在线自蒸馏（OPSD）用带特权视角的教师模型提供密集的 token 级纠正来补足这一点，教师看到的视觉视图以证据为中心。论文指出，这类纠正并不纯粹：语言先验、回答风格以及特权视角本身都会让更新方向发生偏移，使纠正无法稳定归因于视觉证据。作者把这种情况命名为特权纠正污染，并指出直接蒸馏被污染的纠正，等于把错误的 token 级更新固化进学生模型。

用视觉对比筛纠正

针对上述问题，论文提出视觉可归因在线自蒸馏，在任务级 RLVR 监督之外叠加有视觉证据支撑的特权 token 级纠正。具体实现是 Visual-Attribution Gating（VAG）：以验证器导出的优势值作为优化锚点，再对每一条特权纠正做校验，校验方式是比对「证据在场」与「证据退化」两种教师视图之间的差异。只有当纠正的方向被这一视觉对比一致支持时才被接纳，其余不一致的残差被抑制。这样既保留了有视觉依据的引导，又避免把非视觉偏移当作监督信号传递下去。

六项基准上的结果

论文在六个视觉推理基准上做了实验，VAG 的表现稳定优于 GRPO 与 OPSD 两类方法，平均成绩达到新的最优水平。材料未披露各基准的具体分数、模型规模与训练配置，也未说明代码或权重是否公开。论文于 2026 年 10 月 19 日提交至 arXiv，编号 2610.26856，同时归入计算机视觉（cs.CV）与人工智能（cs.AI）分类，全文以 PDF 与 HTML 实验版形式提供。

为什么值得看

想了解多模态 RLVR 中 token 级监督如何避免被非视觉因素污染，这篇给出了可复用的门控思路与六项基准对比结果。

多模态强化学习蒸馏论文

信源1 家

  1. [1]arXiv cs.AI一手信源Reinforcement Learning with Visually Attributable On-Policy Self-Distillation

关键事实

  • 论文将 token 级纠正无法稳定归因于特权视觉证据的现象定义为特权纠正污染[1]

  • VAG 以验证器导出的优势值作为优化锚点，并对比有证据与证据退化两种教师视角来校验纠正[1]

  • 方法在六个视觉推理基准上评测，平均表现超过 GRPO 与 OPSD[1]

  • 论文提交于 2026 年 10 月 19 日，编号 arXiv:2610.26856，归入 cs.CV 与 cs.AI[1]

相关 · 论文

OpenVLHarness 用多模态记忆提升视觉智能体工具调用

10月20日 周二·AI 78

CoopUQ：用不确定性感知协同预测提升多机器人社交导航

10月20日 周二·AI 68

arXiv 论文提出 PhysRSI-eval，用五轴指标衡量视觉语言模型的物…

10月20日 周二·AI 72

WeAct 将 LoRA 适配器选择纳入智能体动作空间

10月20日 周二·AI 72

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论