注册

GPD：用路由式3D特权蒸馏提升VLM空间推理

论文AI 评分 72/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

针对视觉语言模型空间推理弱、RGB输入缺少几何证据的问题，论文提出GPD（Geometry-Privileged Distillation），把几何证据作为在线策略自蒸馏中的特权信息。做法是：对每个问题，将深度、语义与鸟瞰图（BEV）线索渲染为紧凑文本，与参考答案一起路由给教师模型；仅对错误轨迹施加特权KL，用于增强GRPO，而部署模型仍只使用RGB输入。在4B骨干上，GPD在VSI-Bench取得57.1，在MindCube、SPARBench、MMSI-Bench、ViewSpatial上平均37.6，优于GRPO与答案特权OPSD。消融实验验证了3D特权与答案特权的互补性、问题条件路由优于全上下文注入，以及仅对错误轨迹蒸馏的收益。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

空间推理为何难

论文指出，视觉语言模型在空间推理上长期偏弱，原因在于RGB输入本身不直接提供几何证据。已有的补救路径大致两类：一是在推理阶段把3D信息注入模型，代价是架构改动与延迟增加；二是用结果奖励训练，但这类监督只作用于最终答案。作者认为空间错误的根源在感知环节——深度或方向判断错了，只有场景的真实几何才能纠正，而空间训练语料中的3D扫描来源恰好带有这种几何信息。这一判断构成了GPD的设计前提：把几何当作训练期的特权信息，而不是推理期的额外输入。

GPD怎么做

GPD把几何证据设为在线策略自蒸馏（OPSD）中的特权。对每个问题，深度、语义和鸟瞰图（BEV）三类线索被渲染成紧凑文本，与参考答案一同路由给教师模型。训练上，一个特权KL只施加在错误轨迹上，用来增强GRPO；这样教师提供的几何提示只纠正答错的路径，而不干扰已经正确的轨迹。部署阶段模型仍然只接收RGB输入，不引入3D传感器或额外推理开销。消融实验支持了三个设计选择：3D特权与答案特权之间存在互补性，按问题条件进行路由比把全部上下文一次性注入更优，把蒸馏限制在错误轨迹上也带来收益。

基准上的数字

在4B骨干模型上，GPD在VSI-Bench上取得57.1，在MindCube、SPARBench、MMSI-Bench和ViewSpatial四个基准上的平均分为37.6，论文称其在这批空间推理基准上同时超过GRPO和答案特权版本的OPSD。这些数字的意义在于对比对象：GRPO代表纯结果奖励的强化学习路线，答案特权OPSD代表只把参考答案作为特权信息的蒸馏路线，GPD在两者之上说明几何线索带来了额外增益。论文同时提供了代码链接，便于复现。

适用边界

GPD的适用范围受限于训练语料：它依赖空间训练语料中3D扫描来源所提供的真实几何，才能渲染出深度、语义与BEV线索。部署侧虽然保持RGB-only，但训练阶段需要教师模型与特权KL的额外计算。论文的验证集中在4B骨干与上述若干空间推理基准，摘要未给出更大规模模型或其他任务类型的结果。作者列出的消融结论——3D与答案特权互补、问题条件路由优于全上下文注入、仅对错误轨迹蒸馏更有利——为后续在同类方法上做取舍提供了参考。

为什么值得看

给出不增加推理成本、仅靠训练阶段注入3D几何证据来提升VLM空间推理的可复现方案与基准数字。

蒸馏论文

信源1 家

  1. [1]arXiv cs.AI一手信源Distilling Routed 3D Privilege for Spatial Reasoning in Vision-Language Models

关键事实

  • 论文提出GPD，将几何证据作为在线策略自蒸馏中的特权信息[1]

  • 深度、语义与BEV线索被渲染为紧凑文本，与参考答案一起路由给教师模型[1]

  • 特权KL仅施加于错误轨迹，用于增强GRPO，部署模型保持仅RGB输入[1]

  • 4B骨干上VSI-Bench得57.1，MindCube、SPARBench、MMSI-Bench、ViewSpatial平均37.6[1]

  • 消融显示3D与答案特权互补，问题条件路由优于全上下文注入[1]

相关 · 论文

DreamX 将预训练视频扩散模型改造为通用潜在动作学习器

11月4日 周三·AI 78

arXiv 论文提出「认知共生体」概念，主张 AI 增强人的智能

11月4日 周三·AI 58

独立复现 DNO-Prct：Llama 3.1 8B 对 GPT-4o 胜率升…

11月4日 周三·AI 72

研究提出 PEARL 方法，用于持久抑制语言模型的不对齐行为

11月4日 周三·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论