清华等开源具身智能体框架RPent,大模型与专家模型协同闭环

模型AI 评分 82/100量子位待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

清华大学、无问芯穹与正行创新联合开源具身智能体基础设施RPent。该框架未采用纯端到端VLA或纯大模型Agent路线,而是让通用大模型负责任务理解与规划,VLA等专家模型负责高精度执行,记忆系统沉淀经验,形成“观察-规划-执行-反馈”闭环。在LIBERO-PRO基准测试中,其任务成功率达92.6%,端到端完成速度优化超7倍。成功执行后,经验沉淀为任务卡,再次执行时启用Flash Mode直接复用流程,仅按当前视觉做必要调整,避免每步重调大模型,有效降低执行延时。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

四层架构拆解任务

RPent采用用户层、智能层、接口层、环境层四层模块化设计。用户层提供交互式命令行与Web Dashboard两种入口,用户可下达任务指令。智能层规划器结合基础模型、Memory与工具库,将任务拆解为可执行的子步骤。接口层通过动作原语封装VLA、WAM和程序化技能,供智能层调用。环境层负责执行并反馈结果,形成感知、决策、执行、反馈纠错的闭环。这种分层设计让通用大模型的规划能力与VLA等专家模型的操作能力各司其职,避免单一模型承担全部任务。

92.6%成功率与7倍提速

在LIBERO-PRO基准测试中,RPent的任务成功率达到92.6%。这一数字来自智能层规划与动作原语调用的协同:规划器拆解任务后,动作原语调用VLA等专家模型执行具体操作,反馈纠错机制在出现偏差时重新观察并调整。端到端任务完成速度优化7倍以上,得益于任务卡复用机制。当任务逻辑经过验证后,RPent将其沉淀为任务卡,再次执行同类任务时可启用Flash Mode直接复用,减少重复规划与试错,从而降低延时。

与纯VLA端到端对比

纯VLA端到端方案在长任务、语言变化和场景扰动下容易退化。演示中,机器人完成倒钢珠、双臂擦盘、移碗找勺等任务时,任务变化会导致冻结的VLA放错位置。RPent则通过智能层重新观察并选择动作,避免此类错误。其算法源于团队7月提出的Harness VLA工作,由大规模具身强化学习框架RLinf核心团队打造,将通用大模型规划与VLA等专家模型操作能力结合,形成感知、决策、执行、反馈纠错的完整闭环。

任务卡复用与适用范围

RPent把验证过的任务逻辑沉淀为任务卡,供后续复用。再次执行时启用Flash Mode复用任务卡,可降低延时。这一机制适用于重复性任务场景,而任务变化时系统会重新观察选择,不依赖冻结的VLA。RPent由清华大学、无问芯穹、正行创新联合开源,用户可通过交互式命令行或Web Dashboard下达任务。对读者而言,这意味着具身智能体基础设施多了一个开源选项,其分层设计与任务卡复用机制为长任务和场景扰动提供了应对思路。

为什么值得看

解决纯大模型精度差与纯VLA泛化弱痛点,通过分层协同与经验复用,让机器人在物理世界持续成长。

大模型智能体基准测试

信源1 家

  1. [1]量子位GPT-6 Astra开进机器人身体!清华联手无问芯穹等开源RPent

关键事实

  • 清华大学、无问芯穹、正行创新联合开源具身智能体基础设施RPent[1]

  • RPent在LIBERO-PRO基准测试中任务成功率达92.6%,端到端完成速度优化超7倍[1]

  • 框架采用通用大模型规划、VLA等专家模型执行、记忆系统沉淀经验的分层协同架构[1]

  • 经验可沉淀为任务卡,复用时启用Flash Mode降低执行延时[1]

相关 · 模型

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。