团队发布 RoboSPA 机器人数据集与基准

论文AI 评分 65/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

研究团队发布了 RoboSPA 数据集与基准,用于评估视觉-语言-动作模型的具身推理能力。该数据集聚焦细粒度空间推理和长视程序规划,包含 10 个任务类别和 56 个基础任务。每个任务设有 5 个难度等级,共产生 280 个变体,收集了 52.7 万条轨迹。测试显示现有模型在处理复杂空间关系、精确底层执行及密集记忆规划方面仍存在困难。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

两个维度切分难度

RoboSPA 把评测拆成两条主线:细粒度空间推理与长程流程规划。围绕这两条主线,数据集划出 10 个任务类别、56 个基础任务。每个基础任务再按五档难度展开,最终形成 280 个变体,难度提升体现在空间歧义增多与流程步骤变长两个方面。这样的组织方式让同一件任务在不同复杂度下被反复检验,而不是只在一个预设场景里判断成败。

52.7万条轨迹的采集

数据规模上,RoboSPA 汇总了 52.7 万条轨迹,覆盖多种具身形态与不同场景。轨迹数量与前述 280 个变体相配合,使每个难度档位都能获得足够的样本支撑。与只记录任务是否完成的传统做法相比,这批数据保留了过程信息,为后续按维度拆解模型表现提供了基础。

成功率之外的诊断指标

RoboSPA 在二元成功率之外增设了诊断类指标,用于观察模型在哪一环失手。论文给出的实验结果显示,代表性 VLA 模型在复杂空间关系、精确的底层执行以及需要记忆支撑的规划上仍有明显短板。这些结论并非来自单一总分,而是来自分维度、分难度的测量,因此能指出能力缺口的具体位置。

对使用者的意义

对关注具身智能的研究者而言,RoboSPA 提供的是一套可复现的诊断工具:数据与代码已公开,任务按难度分层,指标可细化到具体能力项。它并不宣称给出新的模型方案,而是把评测门槛抬高,让简单场景与短程任务之外的差距暴露出来。论文已被 EMNLP 2026 主会接收,归入机器人学、人工智能与计算机视觉等分类。

为什么值得看

提供了大规模、多难度的机器人操作基准,揭示了 VLA 模型在复杂场景下的短板。

数据集

信源1 家

  1. [1]arXiv cs.AI一手信源RoboSPA: Can VLA Models Go Beyond Simple Scenes and Short-Horizon Tasks?

关键事实

  • RoboSPA 包含 10 个任务类别和 56 个基础任务,分为 5 个难度等级,共 280 个变体。[1]

  • 数据集收集了 52.7 万条轨迹,涵盖多种具身形态和多样化场景。[1]

  • 实验表明当前 VLA 模型在复杂空间关系、精确底层执行和密集记忆规划上表现不佳。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。