SpatialASM:用训练期空间模拟让LVLM学会主动空间心智化

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇投稿于arXiv的论文提出SpatialASM框架,试图把「主动空间心智化」(ASM)能力内化进大型视觉语言模型。该框架用一个以环境为中心的虚拟视角生成器,把假设视角锚定到视觉证据上,并给出两类监督信号:显式的ASM轨迹,教模型在空间推理中何时、如何调用视角规划与想象;以及自动构造的换位思考任务,强化以视角为条件的场景想象。作者称在七个基准上、四种LVLM骨干上均取得空间推理性能提升,同时保留原有通用视觉能力。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

要解决的问题

论文关注的是大型视觉语言模型在复杂空间推理上的一个缺口。作者把人类处理这类任务时的做法作为对照:人会从与任务相关的视角重新观察场景,并在脑中重建该视角下的空间布局。作者将这种能力称为主动空间心智化(ASM),认为它是视觉智能的内在组成部分,而当前的大型视觉语言模型在这方面明显不足。论文要回答的问题是,模型能否以类似方式主动进行空间思考。围绕这一点,作者提出SpatialASM,把它定位为一个可扩展的框架,目标是在训练阶段就把这种能力内化进模型,而不是仅在推理时依赖外部提示或工具。

训练期空间模拟怎么做

SpatialASM的核心机制是训练期的空间模拟。框架中设有一个以环境为中心的虚拟视角生成器,作用是把模型提出的假设视角落到实际的视觉证据上,避免想象脱离画面。在此基础上,框架产生两种互补的监督形式。第一种是显式的ASM轨迹,用来教模型在空间推理过程中判断何时以及如何自适应地调用视角规划与想象,相当于把「先换视角、再重建布局」这一过程写成可学习的步骤。第二种是自动构造的换位思考任务,用于进一步强化模型以特定视角为条件去想象场景的能力。作者指出,这类ASM轨迹的合成提供了一条可扩展的路径,用来缓解空间思维链监督数据稀缺的问题。

验证范围与结果

实验覆盖七个基准,跨度从偏感知的空间理解,到更需要多图、跨视角与视角变换推理的更难任务。作者报告称,SpatialASM在四种LVLM骨干上都带来了空间推理性能的提升,同时保留了这些模型原有的通用视觉能力,并在七个空间基准上提高了平均准确率。论文提交于2026年10月9日,作者包括Yuhong Liu、Shenxi Wu、Junyi Chi、Beichen Zhang、Xuanlang Dai、Jiaqi Wang、Yuhang Zang、Dahua Lin,主题分类涉及计算机视觉与模式识别以及人工智能。

为什么值得看

关注多模态模型空间推理短板的人,可看其训练期监督构造思路与七基准、四骨干的验证范围。

论文

信源1 家

  1. [1]arXiv cs.AI一手信源SpatialASM: Internalizing Active Mentalization for Spatial Reasoning

关键事实

  • 论文提出SpatialASM框架,通过训练期空间模拟把主动空间心智化内化进大型视觉语言模型[1]

  • 框架包含一个以环境为中心的虚拟视角生成器,用于把假设视角锚定在视觉证据上[1]

  • 监督信号分两类:显式ASM轨迹,以及自动构造的换位思考任务[1]

  • 在七个基准、四种LVLM骨干上取得空间推理性能提升,并保留原有通用视觉能力[1]

  • 作者称ASM轨迹的合成可缓解空间思维链监督稀缺的问题[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。