MindTopo 基准测试评估基础模型拓扑推理能力
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载拓扑直觉被拆成五类
MindTopo 把空间理解中不随连续形变而改变的那部分关系单独拎出来考察，依据认知科学与形式拓扑划出五个属性：连续性、分离性、顺序、包围与纽结。每个属性都在两个认知层次上设题。推理层要求模型判断拓扑关系本身，或推断这些关系会怎样变化；规划层则把基础模型放进闭环智能体中，由策略选择环境动作。整套基准包含 11030 个实例，覆盖 13 种程序化生成的任务类型，难度可调。这样做的用意在于，把以往评测里常见的距离、角度、形状等度量性、依赖视角的关系，与形变下保持不变的关系区分开，后者在认知科学中被视为空间理解的基础，而既有评测较少单独触及。
十四款多模态模型受测
评测覆盖 14 个多模态大模型，并考察了借助图像与视频生成增强的智能体配置，其中规划场景用到 3 个视频生成模型。结果呈现出一致的分层：所有受测模型在推理任务上的表现都优于规划任务，而成绩最好的模型与观察到的人类表现之间仍有明显距离。在 Qwen3-VL-2B-Instruct 上做的监督微调与强化学习显示，两种训练手段对推理的提升都大于对规划的提升。这说明模型在静态判断关系时尚可应付，一旦要在多步交互中维持这些关系，短板就暴露出来。
生成画面不等于守住拓扑
对生成式观测的审计给出了更细的结论：生成的画面能保留局部线索，也能走到看似合理的终点，但逐条检查的 rollout 并不能稳定遵循环境动力学，在状态转移过程中也无法可靠保持拓扑关系。换言之，画面看起来对，不等于关系在过程中一直对。这一发现直接指向规划层得分偏低的成因，也为用生成模型补足观测的做法划出了边界：局部真实与全局一致是两件事，后者需要额外的约束才能保证。
对使用者的实际含义
对打算把基础模型用于空间任务的人来说，这份基准提供的是一把分属性的尺子：可以按连续性、分离性、顺序、包围、纽结分别查看模型强弱，而不是只看一个总分；也可以区分模型是判断出错，还是在闭环执行中出错。适用范围上，任务由程序化生成、难度可控，便于做对照实验；限制则在于它衡量的是拓扑直觉这一特定侧面，度量性空间能力不在其覆盖之内。训练侧的启示是，微调与强化学习目前更多改善判断而非执行，若目标是闭环智能体，需要针对状态转移与关系保持另作设计。
为什么值得看
填补了拓扑空间推理评估的空白，揭示了当前模型在动态规划上的短板。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。