MindView 多视角空间智能基准发布,含 1500 个样本、7 项任务

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

研究团队提出 MindView,用于评测生成式多视角空间智能:样本 1500 个,来自 3 个室内数据集的 513 个场景,任务分为几何主导与语义主导两类,共 7 项。对 11 个生成模型的评测显示整体提升空间较大;在扩展上下文设置下,这 11 个模型的总体得分均下降。团队用 MindView 训练集微调 BAGEL,总体得分提升 24.3 分,7 项任务全部上涨,并在 3 个未训练的空间理解基准上得分更高。另提出免训练的空间证据选择方法 MindCue,可扭转扩展上下文下的得分下降。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

基准构成与任务划分

MindView 面向从部分多视角观测出发、按语言引导生成空间一致视角这一任务,材料指出该方向此前探索不足。基准共 1500 个样本,取自 3 个室内数据集的 513 个场景。7 项任务分为两族:几何主导类直接指定相机位置与朝向的变化;语义主导类要求先定位被指称物体,再理解空间关系与参考系线索,从而推断目标视角。这一划分把「按坐标变换视角」与「按语义推理视角」区分开,便于分别观察模型短板。

评测结果与上下文影响

对 11 个生成模型的评测显示,MindView 上仍有较大提升空间。研究还做了配对上下文分析:在扩展上下文设置下,这 11 个模型的总体得分全部低于标准设置。这说明给模型更多多视角证据并不自动带来收益,证据如何被利用成为独立问题。该结论也为后续两项改进提供了动机:一是任务特定监督能否提升目标视角生成,二是模型能否有效使用额外多视角证据。

微调带来的生成与理解收益

团队在 MindView 训练集上微调 BAGEL,总体得分提高 24.3 分,且 7 项任务均有上涨。更值得注意的是迁移效果:该微调模型在 3 个空间理解基准上取得更高分数,而这些基准的标注并未参与训练。材料据此提出,学习生成有空间依据的视角可能反过来有益于空间理解,把「生成」与「理解」两类能力联系起来。

MindCue 与证据利用

针对扩展上下文下得分下降的问题,团队提出 MindCue:一种免训练的空间证据选择器,由目标视角假设引导。材料称其扭转了扩展上下文下的总体得分下滑,并超过标准上下文基线。这意味着在不重新训练模型的前提下,通过筛选输入证据即可恢复甚至超过原有表现,对实际部署中上下文变长带来的性能损失提供了可直接尝试的处理方式。

为什么值得看

多视角空间一致性生成有了可复现的评测基准,并给出微调与证据选择两条可验证的改进路径。

微调数据集

信源1 家

  1. [1]arXiv cs.AI一手信源MindView: Benchmarking Generative Multi-View Spatial Intelligence

关键事实

  • MindView 含 1500 个样本,覆盖 3 个室内数据集的 513 个场景[1]

  • 基准设 7 项任务,分为几何主导与语义主导两类[1]

  • 11 个生成模型在扩展上下文设置下总体得分均下降[1]

  • 在 MindView 训练集上微调 BAGEL,总体得分提升 24.3 分[1]

  • MindCue 为免训练的空间证据选择方法,由目标视角假设引导[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。