注册

AlphaNIST：仅用二元奖励从零训练装配策略，20项任务成功率98.2%

论文AI 评分 78/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

论文提出 AlphaNIST，在仿真中仅用稀疏的二元任务奖励，从零训练单一策略完成 NIST Assembly Task Board #1 的全部 20 项装配任务，整体训练成功率达 98.2%，未使用演示数据、进度塑形奖励、脚本化基元或逐任务调参。框架还训练策略在单次回合内完成十组装配对，不规定先后顺序，只有十组同时完成才计成功。学习到的策略表现出灵巧操作与类规划行为，例如为后续装配选择抓取方式、借助周围几何结构调整零件朝向，以及先准备一个零件、装配另一个、再回头完成第一个。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

稀疏奖励下的装配学习

这项工作把学习目标压缩成一个二值信号：任务完成与否。研究者在仿真环境中从零开始训练单一策略，覆盖 NIST Assembly Task Board #1 上的全部 20 项装配任务，整体训练成功率达到 98.2%。整个过程没有使用演示数据，没有设计进度塑形奖励，没有脚本化的基础动作，也没有针对单项任务做参数调整。作者提出的问题是：装配策略中究竟有多少必须由人预先指定。他们把这一思路与 AlphaGo 到 AlphaGo Zero 的演进相类比，后者说明大规模强化学习可以在不被告知如何取胜的前提下发现超越人类的策略。AlphaNIST 想验证的是，一个与任务无关的稀疏二值奖励，加上任务本身的多样性，是否也能让机器人自己摸索出装配方法。

长时程与短时程的难点

NIST Assembly Task Board #1 一直被视为基于学习的方法在机器人操作上的困难基准。在短时间尺度上，它要求对小尺寸、配合紧密的零件做出精确且富含接触的控制；在长时间尺度上，它又要求跨越较长的动作序列完成恢复与协调。此前的研究进展多依赖演示、任务分解和稠密进度奖励，这些手段为如何装配提供了引导。AlphaNIST 的做法是去掉这些引导，只保留任务是否完成的二值反馈，让策略在试错中自行组织动作。这也意味着适用范围被限定在仿真环境内，材料没有给出真机迁移的结果。

多任务与行为涌现

该框架还训练策略在单个回合内完成十组装配配对，且不规定先后顺序，只有当十组配对同时处于完成状态时才给予任务成功奖励。在这种设定下，学习到的策略表现出灵巧且带有规划意味的行为：为后续装配挑选合适的抓取方式，借助周围几何结构重新调整零件朝向，以及先准备一个零件、转而装配另一个、再回头完成第一个，而这一切都没有显式的规划器参与。论文共 8 页、9 幅图，归入 ICRA 的人工智能与机器人学方向，视频见项目网站。

为什么值得看

用最稀疏的奖励信号替代演示与密集塑形，验证了装配技能可以自发涌现，对机器人强化学习的数据依赖问题有直接参考价值。

论文

信源1 家

  1. [1]arXiv cs.AI一手信源AlphaNIST: Emergent Assembly Skills from Binary Task Rewards

关键事实

  • 在仿真中从零训练单一策略覆盖 NIST Assembly Task Board #1 的全部 20 项装配任务，整体训练成功率为 98.2%[1]

  • 训练过程不使用演示数据、进度塑形奖励、脚本化基元，也不做逐任务调参[1]

  • 框架还训练策略在单次回合内完成十组装配对，不规定顺序，仅当十组同时完成才给予成功奖励[1]

  • 学到的策略出现为后续装配选择抓取、利用周围几何结构重新调整零件朝向等行为，并在无显式规划器的情况下跨任务切换[1]

  • 论文共 8 页、9 张图，被 ICRA 收录，arXiv 编号为 2610.13354[1]

相关 · 论文

DreamX 将预训练视频扩散模型改造为通用潜在动作学习器

11月4日 周三·AI 78

arXiv 论文提出「认知共生体」概念，主张 AI 增强人的智能

11月4日 周三·AI 58

独立复现 DNO-Prct：Llama 3.1 8B 对 GPT-4o 胜率升…

11月4日 周三·AI 72

研究提出 PEARL 方法，用于持久抑制语言模型的不对齐行为

11月4日 周三·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论