arXiv 论文用 EBench 评测 GPT-6-Astra 控制机器人的能力

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇提交至 arXiv 的报告在 EBench 上评测 GPT-6-Astra 作为机器人控制智能体的表现,采用与后训练策略相同的视觉和本体感知观测协议。研究设置两种配置:直接控制由智能体直接生成路点指令;带策略的 harness 还可调用后训练的 VLA 或 WAM 策略执行动作。直接控制下整体表现与后训练策略相当,在短时程任务上领先,跨泛化维度的波动最小,但在长时程、桌面操作和高精度接触密集任务上落后。带策略的 harness 能结合两者互补优势,把整体成功率提升到最强对比策略的水平,并显著降低 token 开销,但因策略调用不理想、固定指令执行缺少子目标、智能体恢复控制时抓取被打断,仍低于各组件单独使用的逐任务上限。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

评测设置与两种配置

报告把 GPT-6-Astra 放在 EBench 中作为控制机器人的智能体核心,观测输入采用与后训练策略相同的视觉和本体感知协议,以便在同一条件下比较。研究对比两种智能体配置:一种是直接控制,由智能体自行生成路点指令驱动机器人;另一种是带策略的 harness,智能体除自行生成指令外,还能调用后训练的 VLA 或 WAM 策略来执行动作。这一设计把“前沿多模态模型能否零样本控制机器人”与“它与专用策略如何协作”两个问题放在同一评测框架下考察。

直接控制的能力边界

在直接控制配置下,智能体的整体表现与后训练策略处于可比水平。它的优势集中在短时程任务,并且在各泛化维度上的表现波动最小,说明能力分布较为均衡。短板则出现在长时程任务、桌面操作以及高精度接触密集任务上,这些场景中后训练策略表现更好。报告据此勾勒出前沿多模态模型智能体在操作任务上的能力边界:通用性较好,但在需要长程规划与精细力控的环节仍有差距。

混合调用带来的收益与损耗

在带策略的 harness 配置下,智能体可以调用后训练的 VLA 或 WAM 策略执行动作,两类组件的互补性使整体任务成功率提升到最强对比后训练策略的水平,同时 token 开销明显下降。不过,这一配置仍未达到各组件单独使用时的逐任务上限。报告归因于三点:策略调用时机或选择不够理想;执行阶段按固定指令推进、缺少子目标分解;智能体重新接管控制时打断原有抓取。这些发现指向未来智能体 harness 设计需要改进的方向。

为什么值得看

给出了前沿多模态模型直接控制机器人与调用后训练策略两种路线的实测边界,对设计机器人智能体框架有参考价值。

GPT智能体论文

信源1 家

  1. [1]arXiv cs.AI一手信源Profiling a Frontier Agent with EBench: From Direct Control to Harness with Policy

关键事实

  • 报告在 EBench 上评测 GPT-6-Astra 作为机器人控制智能体,观测协议与后训练策略一致[1]

  • 直接控制配置下智能体在短时程任务领先,跨泛化维度波动最小[1]

  • 直接控制在长时程、桌面操作和高精度接触密集任务上弱于后训练策略[1]

  • 带策略的 harness 把整体成功率提升到最强对比后训练策略的水平,并显著降低 token 开销[1]

  • 因策略调用不理想、固定指令缺少子目标、恢复控制时抓取被打断,性能仍低于组件逐任务上限[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。