SpatialASM:用训练期空间模拟让LVLM学会主动空间心智化
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载要解决的问题
论文关注的是大型视觉语言模型在复杂空间推理上的一个缺口。作者把人类处理这类任务时的做法作为对照:人会从与任务相关的视角重新观察场景,并在脑中重建该视角下的空间布局。作者将这种能力称为主动空间心智化(ASM),认为它是视觉智能的内在组成部分,而当前的大型视觉语言模型在这方面明显不足。论文要回答的问题是,模型能否以类似方式主动进行空间思考。围绕这一点,作者提出SpatialASM,把它定位为一个可扩展的框架,目标是在训练阶段就把这种能力内化进模型,而不是仅在推理时依赖外部提示或工具。
训练期空间模拟怎么做
SpatialASM的核心机制是训练期的空间模拟。框架中设有一个以环境为中心的虚拟视角生成器,作用是把模型提出的假设视角落到实际的视觉证据上,避免想象脱离画面。在此基础上,框架产生两种互补的监督形式。第一种是显式的ASM轨迹,用来教模型在空间推理过程中判断何时以及如何自适应地调用视角规划与想象,相当于把「先换视角、再重建布局」这一过程写成可学习的步骤。第二种是自动构造的换位思考任务,用于进一步强化模型以特定视角为条件去想象场景的能力。作者指出,这类ASM轨迹的合成提供了一条可扩展的路径,用来缓解空间思维链监督数据稀缺的问题。
验证范围与结果
实验覆盖七个基准,跨度从偏感知的空间理解,到更需要多图、跨视角与视角变换推理的更难任务。作者报告称,SpatialASM在四种LVLM骨干上都带来了空间推理性能的提升,同时保留了这些模型原有的通用视觉能力,并在七个空间基准上提高了平均准确率。论文提交于2026年10月9日,作者包括Yuhong Liu、Shenxi Wu、Junyi Chi、Beichen Zhang、Xuanlang Dai、Jiaqi Wang、Yuhang Zang、Dahua Lin,主题分类涉及计算机视觉与模式识别以及人工智能。
为什么值得看
关注多模态模型空间推理短板的人,可看其训练期监督构造思路与七基准、四骨干的验证范围。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
