X-Reset框架利用人手演示解决RL探索难题并实现零样本迁移
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载用重置分布替代演示模仿
X-Reset 处理的是仿真中强化学习训练灵巧操作策略时的探索难题。当目标是训练一个通用策略、并且只给出与任务无关的奖励时，让机械手从零开始自行发现接近、抓取并重新调整各种高自由度物体的动作非常困难。以往的做法要么依赖高质量的机器人演示，要么为每个任务单独设计奖励塑形，要么把策略限制在狭窄的行为模式内。X-Reset 换了一条路径：它使用人手与物体交互的演示，但并不去模仿或跟踪经过重定向的人手运动轨迹。具体做法是把人手与物体的状态通过运动学方式重定向为带噪声的机器人状态，再筛掉那些在仿真中不稳定的状态，把剩下的状态作为重置点，在强化学习训练过程中采样使用，配合通用的、以物体为中心的奖励。这样得到的策略只依赖物体状态和目标，演示信息是通过重置分布进入训练流程的，而不是作为被模仿的轨迹。
跨三种本体训练通用策略
在实验设置上，X-Reset 在 20 个物体上训练通用策略，覆盖三种本体：两种不同机械臂上搭载的 22 自由度手，以及一个平行夹爪。这一组合说明同一套方法并不绑定于某一种末端执行器形态，而是可以在自由度差异很大的本体之间共用。论文报告的结果包括：X-Reset 能够化解从零开始做强化学习时遇到的探索困难；随着训练物体数量增加，方法的表现会随之扩展；对训练中未出现过的物体具备泛化能力；即使输入的人手姿态估计并不完美，也能从中学习；并且能够把学到的行为以零样本方式从仿真迁移到真实环境。这些结论对应的都是操作策略本身的能力，而非某个特定任务的调参结果。
适用范围与使用限制
从方法描述可以看出的边界在于：X-Reset 依赖人手与物体交互的演示作为重置状态的来源，因此需要先有这类演示数据，再经过运动学重定向和仿真稳定性筛选两道处理。被筛掉的不稳定状态不会进入训练，保留下来的状态才构成重置分布。策略的输入被限定为物体状态与目标，这意味着它是以物体为中心来组织行为的，而不是以关节轨迹或人手动作为中心。论文列出的能力验证集中在 20 个物体、三种本体这一范围内，泛化测试针对的是未见过的物体，迁移测试针对的是仿真到真实的零样本场景。对关注机器人操作训练流程的读者来说，这套做法提供了一种把人类演示当作探索起点、而非模仿目标的思路，其代价是需要演示数据与一次额外的状态筛选步骤。
为什么值得看
无需机器人演示即可训练通用灵巧操作策略并实现零样本实机迁移，大幅降低强化学习探索与部署成本。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。