Pixel-UMI：从传感器化人类演示学习全身操作策略
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
论文提出 Pixel-UMI 流程，用传感器化人类演示数据训练环境感知的全身移动操作策略。方法包含三部分：环境感知重定向（EAR）结合重建场景几何与演示中的头部、夹爪轨迹，生成带碰撞约束的关节与底座目标，并通过延迟校准的动作分配转为动作；针对运动学差异造成的残余位姿误差与视角错配，引入重定向误差感知掩码（REAM），在训练中降低对错配视角的依赖；再用 DAgger 收集在策略人类纠正，弥补估计动作对富接触交互的不足。在关节物体操作、可变形物体处理、受限空间到达、全身避障与富接触双臂协调五类任务上，平均任务进度为 87.0%。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载要解决的问题
论文关注的是用传感器化人类演示为移动操作提供可扩展数据时遇到的具身差异问题。人类演示与机器人本体在运动学上不一致，直接用于策略学习会出现困难；同时，估计出的动作难以完整表达富接触交互。Pixel-UMI 的目标是从这类人类数据中学习环境感知的全身策略，而不是依赖机器人本体采集的示教。
重定向与动作分配
流程的第一步是环境感知重定向（EAR）：把重建出的场景几何与演示中的头部、夹爪轨迹结合起来，据此确定机器人姿态，并生成带碰撞约束的关节目标与底座目标。随后通过延迟校准的动作分配，把这些轨迹转换成可执行的动作。这一环节处理的是人类演示到机器人动作之间的映射，以及移动底座与全身姿态如何在同一场景约束下确定。
视角错配与人类纠正
由于运动学差异，重定向后仍会残留位姿误差，导致人类演示与机器人观测之间出现视角不匹配。为此论文引入重定向误差感知掩码（REAM），在训练阶段利用这些误差，减少部署时对错配视角的依赖。此外，估计动作无法充分覆盖富接触交互，作者用 DAgger 收集在策略人类纠正来提升表现。两者分别针对观测层面的错配与动作层面的不足。
评测范围与结果
评测覆盖五类任务：关节物体操作、可变形物体处理、受限空间到达、全身避障以及富接触双臂协调，平均任务进度为 87.0%。论文附带视频结果链接，代码与数据细节未在摘要中给出。
为什么值得看
展示如何用人类演示数据跨越具身差异训练全身移动操作策略，并给出五类任务上的量化结果，对做机器人学习与数据复用的人有参考…
论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。