DexPort 推出手持灵巧手数据采集接口

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

DexPort 是一个面向高自由度机器人手的手持式数据采集接口,采集与部署使用同一套手部硬件,从而避免手部形态差异。操作者移动手持设备来指定机器人手腕运动,并通过选择或调整技能来协调手指动作,无需逐关节控制,同时保留精确抓取与手内操作等行为。采集时同时记录指令关节目标与实测关节状态。研究在 4 项真实任务上采集了 2500 余条演示,覆盖实验室与非结构化环境,并用行为克隆直接训练视觉运动策略。使用记录的机器人指令替代状态时,效果从 11% 提升到 64%;使用野外数据时,任务成功率从 36% 提升到 78%。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

采集与部署同源

灵巧操作技能学习长期受限于高质量演示数据的获取。遥操作能记录可直接执行的机器人动作,但需要完整的机器人装置,且操作者要同时协调多个手指关节;人类演示采集更简单,却需要额外估计动作并重定向到机器人,无法直接给出机器人动作。DexPort 的做法是让采集与部署共用同一套手部硬件,从源头消除手部形态差异,同时记录指令关节目标与实测关节状态两类信号,为后续策略学习保留可执行的动作信息。

用技能替代逐关节控制

该接口的核心判断是:少量技能即可覆盖较广的灵巧任务范围。采集过程中,操作者移动手持设备来指定机器人手腕的运动,手指部分则通过选择或调整技能来完成协调,因而不必逐个关节独立操控,同时仍能保留精确抓取和手内操作等行为。这样操作者的注意力集中在手腕轨迹与技能选择上,降低了高自由度手部数据采集的操作负担。

四类任务与两组对比

研究在 4 项任务上验证:多物体抓取放置、使用手内工具拧螺丝、需要同时抓取与拉开的抽屉收纳,以及双臂扫描任务。采集在实验室与非结构化环境中进行,不依赖机械臂,累计超过 2500 条演示。随后用行为克隆直接在记录的手腕运动与手部指令上训练视觉运动策略,训练过程不使用技能标签。对比结果显示,使用记录的机器人指令而非状态时,效果由 11% 提升至 64%;使用野外采集数据时,任务成功率由 36% 提升至 78%。

为什么值得看

灵巧操作演示数据稀缺是训练瓶颈,该方案用同一硬件打通采集与部署,并给出可量化的成功率提升。

信源1 家

  1. [1]arXiv cs.AI一手信源DexPort: A Hand-Held Skill Interface for Dexterous Hand Data Collection

关键事实

  • DexPort 采集与部署使用同一套手部硬件,避免手部形态差异[1]

  • 采集时同时记录指令关节目标与实测关节状态[1]

  • 在 4 项任务上采集超过 2500 条演示,覆盖实验室与野外环境[1]

  • 用记录的机器人指令替代状态,效果从 11% 提升到 64%[1]

  • 使用野外数据时任务成功率从 36% 提升到 78%[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。