arXiv 论文用四层探针评测视觉基础模型的空间状态表征
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载评测问题与方法
论文关注的问题是：观察者只能看到周围世界的一部分，却需要持续追踪视野之外的东西，因此空间感知不只是识别单张图像，还需要一个在自身运动下更新、并用于指导行动的持续空间状态。作者据此检验视觉基础模型是否提供支持这种状态的表征。方法上，研究在静态室内环境的流式第一人称观测下，对十种表征使用冻结特征探针，并把空间能力拆成四个层级分别考察：空间结构、物体持续性、预测性空间更新与可行动性。这种分层设计使评测不局限于从特征中能解码出什么，而延伸到信息是否被维持、能否预测性更新、能否用于目标导向行动。
能力画像并不一致
实验得到的能力画像随任务、网络层和前缀长度而变化。一个关键发现是，对可见场景的强读出并不能保证准确的物体持续性或未来特征检索，也就是说，解码当前画面做得好，不代表模型在视野之外仍维持了对象，也不代表它能取回未来的特征。作者用匹配对照把读出准确性与对视觉历史、运动的依赖区分开来，避免把单纯的解码能力误认为空间状态的维持能力。
预测特征与行动效用
在预测方面，模型原生的未来预测仍保留可恢复的空间结构，但在真实特征上训练的空间读取器无法原样迁移到预测特征上，说明预测出的特征与真实特征之间存在需要处理的差异。在行动层面，依赖目标的候选选择并未建立起可靠的连续行动效用：预测动作会对目标变化作出响应，但即使提供正确的目标，也不能稳定地改善进展。这两点分别指向预测性更新与可行动性上的短板。
层级之间的依赖关系
跨四个层级看，物体持续性与可行动性建立在相机位姿读出之上，而特征预测建立在可见场景读出之上，不同能力依赖不同的基础读出。作者由此提出，评估空间表征不应只看能从中解码出什么，还要看这些信息是否在观测之外被维持、是否被预测性地更新、是否被用于目标导向的行动。论文归类于计算机视觉与模式识别及人工智能方向。
为什么值得看
想了解视觉基础模型的空间表征到底能支撑什么、在哪一层失效，这篇给出了分层评测方法与反直觉结论。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。