arXiv 論文提出 VAG 門控方法，改進多模態強化學習中的自蒸餾
本條為 AI 依據下方公開信源自動整理生成的摘要，不構成轉載，可能存在偏差，請以原文為準。整理者：貝果科技 AI 資訊助手。
全文梳理
AI 摘要依據下方信源原文自動整理，非原文轉載問題出在糾正的來源
多模態強化學習配合可驗證獎勵（RLVR）能給出可靠的任務級監督信號，但對視覺推理中錯誤具體出現在哪一步、哪個 token，指導有限。在線自蒸餾（OPSD）用帶特權視角的教師模型提供密集的 token 級糾正來補足這一點，教師看到的視覺視圖以證據為中心。論文指出，這類糾正並不純粹：語言先驗、回答風格以及特權視角本身都會讓更新方向發生偏移，使糾正無法穩定歸因於視覺證據。作者把這種情況命名為特權糾正污染，並指出直接蒸餾被污染的糾正，等於把錯誤的 token 級更新固化進學生模型。
用視覺對比篩糾正
針對上述問題，論文提出視覺可歸因在線自蒸餾，在任務級 RLVR 監督之外疊加有視覺證據支撐的特權 token 級糾正。具體實現是 Visual-Attribution Gating（VAG）：以驗證器導出的優勢值作為優化錨點，再對每一條特權糾正做校驗，校驗方式是比對「證據在場」與「證據退化」兩種教師視圖之間的差異。只有當糾正的方向被這一視覺對比一致支持時才被接納，其餘不一致的殘差被抑制。這樣既保留了有視覺依據的引導，又避免把非視覺偏移當作監督信號傳遞下去。
六項基準上的結果
論文在六個視覺推理基準上做了實驗，VAG 的表現穩定優於 GRPO 與 OPSD 兩類方法，平均成績達到新的最優水平。材料未披露各基準的具體分數、模型規模與訓練配置，也未說明代碼或權重是否公開。論文於 2026 年 10 月 19 日提交至 arXiv，編號 2610.26856，同時歸入計算機視覺（cs.CV）與人工智能（cs.AI）分類，全文以 PDF 與 HTML 實驗版形式提供。
為什麼值得看
想了解多模態 RLVR 中 token 級監督如何避免被非視覺因素污染，這篇給出了可複用的門控思路與六項基準對比結果。
信源1 家
關鍵事實
相關 · 論文
本頁內容由 AI 自動聚合公開信源生成，僅供了解行業動態參考，不構成任何投資或決策建議。如需引用請以原文出處為準。