学者提出HumanoidToolBench基准评估人形机器人工具使用

论文AI 评分 65/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

针对现有人形机器人评估未联合考量工具选择与移动操作的问题,研究者提出HumanoidToolBench基准。该基准包含18项任务,覆盖三种场景、三个执行层级与两种工具集模式。配套ToolBook数据集收录3100条仿真及Unitree G1真机演示。对七种仿真策略与三种真机策略的评测显示,选对工具与完成任务间存在显著差距。针对GR00T N1.7的专项测试表明,面对未见工具其选择准确率下降,且在无关指令下仍会继续执行任务。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

18项任务怎么划分

这套基准把工具使用拆成可测量的若干维度。它一共包含18项任务,覆盖三种场景、三个执行层级以及两种工具集模式。所谓执行层级,指向的是从挑选工具到真正把动作做出来之间的不同环节;两种工具集模式则对应工具集合的不同组织方式。任务设计的目标,是让评测不再只看单一动作是否完成,而是把选工具、操作工具、必要时移动身体这几件事放在同一条链路上考察。作者指出,此前已有的基准没有在人形平台上把这些能力合在一起评估,因此才需要一套新的任务集合来填补这个位置。

3.1k演示数据来源

与基准配套的是一个名为ToolBook的数据集,规模为3.1千条演示。这些演示的采集途径有两条:一部分在仿真环境中生成,另一部分来自真实机器人,具体机型为Unitree G1。把仿真与真机数据放在同一个数据集里,意味着后续既可以做纯仿真的批量评测,也能在实体平台上验证策略是否站得住。数据与代码均已公开,论文本身共9页、含7张图,提交时间为2026年10月1日,属于机器人学与人工智能交叉方向。

七加三策略的差距

评测分两批进行:仿真环境中测试了七种策略,真实机器人上测试了三种策略。结果显示,能够挑出合适工具,与能够把整项任务做完,这两件事之间存在明显落差——选对了工具并不等于任务就能顺利完成。针对GR00T N1.7的专项探测还暴露出两类问题:面对训练中没见过的工具时,选择准确率会下降;而在接收到与当前任务无关的指令时,策略仍会继续执行原有任务。这两点分别指向泛化能力与指令跟随的薄弱环节。

对使用者的意义

对做机器人学习的人来说,这套基准的价值在于把评测口径从单点动作扩展到完整流程,并且同时提供仿真与真机的对照条件。3.1千条演示和18项任务构成了可复现的比较基础,七种与三种策略的测试结果则给出了当前方法的位置参照。需要注意的是,探测中出现的未见工具选择准确率下降、无关指令下仍继续执行等现象,说明现有策略在工具泛化和指令理解上仍有明显限制,这些限制也正是后续改进需要针对的方向。

为什么值得看

揭示人形机器人在工具选择与移动操作协同上的缺陷,为提升具身智能体复杂任务完成率提供评测依据。

数据集

信源1 家

  1. [1]arXiv cs.AI一手信源HumanoidToolBench: Benchmarking Humanoid Tool Use from Selection to Mobile Execution

关键事实

  • HumanoidToolBench基准包含18项任务,覆盖三种场景、三个执行层级与两种工具集模式[1]

  • ToolBook数据集包含3100条在仿真和真实Unitree G1机器人上收集的演示[1]

  • 对七种仿真策略和三种真机策略的评估揭示了选对工具与完成任务间存在显著差距[1]

  • GR00T N1.7专项探测显示其对未见工具选择准确率下降,且在无关指令下仍继续执行[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。