清华联合无问芯穹、智元提出群体经验学习范式并在96台机器人上验证

论文AI 评分 82/100量子位待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

清华大学、无问芯穹与智元联合提出群体经验学习(CEL)范式,让机器人从同伴的成功与失败经验中学习,而非只依赖人类示范。团队在96台真实机器人集群上完成验证,覆盖插花、叠衣服、手机充电、凳子组装、手机包装五项任务。两台未参与训练的机器人在600次测试中失败15次,总体成功率97.5%,五项任务均超过6名人类操作员的平均水平;手机包装任务成功率从79.2%升至98.3%。参与训练的机器人从16台增至96台时,成功率由86.7%提升到98.3%。系统侧基于开源框架RLinf构建容错异步训练系统,算法侧提出失败引导的经验检索微调算法。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

让机器人学同伴经验

清华大学、无问芯穹与智元联合提出一种名为CEL的群体经验学习新范式,其核心思路是让机器人在学习过程中借鉴同伴已经取得的成功操作,而不是把全部学习来源都压在人类示范上。这一取向改变了示范数据的来源结构:人类操作不再是唯一参照,同一集群内其他机器人的执行记录同样可以成为学习素材。围绕这一范式,团队还配套构建了容错异步训练系统FATS与失败引导的经验检索微调算法FERT,前者负责调度,后者负责从经验中提取可用信息,三者共同构成从数据采集到训练再到调优的完整链路。

异步训练与经验调度

FATS基于开源框架RLinf搭建,承担机器人与计算资源的统一调度。它的运行方式带有异步特征:某台机器人完成一次任务后,执行经验随即上传,不必等待整个集群同步到同一节点再统一处理。这种安排让采集与训练可以并行推进,也让集群规模扩大时训练流程不至于被单台设备的节奏拖住。在96台真实机器人组成的集群上,这套系统完成了规模化验证,累计采集9834轮执行经验。规模运行中的稳定性同样被纳入考量:测试期间22台机器人共发生30次故障,由此造成的时间损失只占运行机时的1.3%,说明容错机制在真实集群里能够把单点故障的影响控制在较小范围。

失败经验也被用起来

FERT的特别之处在于对失败操作的处理方式。它从成功操作中学习应当怎么做,同时从失败操作中定位问题所在;当机器人在执行中遇到困难时,算法会检索相似场景下的成功经验作为参照。这样一来,失败记录不再是需要丢弃的噪声,而成为训练信号的一部分。与只依赖成功样本的做法相比,这种双向利用让有限的经验数据被更充分地消化,也让机器人在遇到与既往失败相似的情形时,有更明确的调整方向。

五项任务的成功率变化

验证覆盖插花、叠衣服、手机充电、凳子组装、手机包装五项任务。两台未经训练的机器人接受600次测试,其中失败15次,成功率97.5%;五项任务的成功率均超过6名人类操作员的平均水平。手机包装任务的变化尤为明显,成功率由79.2%提升至98.3%,连续测试120次仅失败2次。参与训练的机器人数量从16台增加到96台时,该任务成功率从86.7%升至98.3%,显示出集群规模扩大与任务表现之间的正向关系。对读者而言,这意味着机器人技能获取可以更多依托集群内部的经验流动,而集群越大,可供借鉴的样本越丰富。

为什么值得看

用近百台真机验证了「机器人越多、经验越厚、能力越强」的路径,为具身智能摆脱人工示教瓶颈提供了可复用的系统与算法组合。

微调强化学习

信源1 家

  1. [1]量子位从学习人类到学习机器人同伴,清华大学联合无问芯穹、智元提出具身智能规模化落地新路径

关键事实

  • 清华大学、无问芯穹与智元联合提出群体经验学习(CEL)范式,并在96台真实机器人组成的集群中完成规模化验证[1]

  • 两台未参加训练的机器人在600次测试中失败15次,总体成功率97.5%,五项任务成功率全部超过6名人类操作员的平均水平[1]

  • 手机包装任务成功率从79.2%提升到98.3%,连续测试120次只失败2次[1]

  • 参与训练的机器人从16台增加到96台,成功率从86.7%提升到98.3%[1]

  • 系统基于大规模强化学习训练开源框架RLinf构建容错异步训练系统(FATS),96台规模测试中累计采集9834轮执行经验,22台机器人发生30次故障,故障造成的时间损失占全部运行机时的1.3%[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。