注册

RoboQuest基准测试揭示前沿多模态智能体探索能力严重不足

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

Liu Renhang等人提出RoboQuest基准，用于评估具身智能体在陌生环境中通过交互获取信息并自适应行动的能力。该基准包含10项移动操作任务，涉及搜索、检查与测试三类不确定性。对五种前沿多模态智能体的评测显示，最佳智能体成功率仅23%，微调策略几乎无法成功。失败分析表明，多数失败源于智能体在观察到完成任务所需证据前过早停止探索，且极少修复自身造成的干扰，试错学习依然困难，仅有少数失败归因于执行技能不足。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

基准聚焦三类不确定性

RoboQuest 是一个面向目标导向具身探索的基准，由 Liu Renhang、Navonil Majumder、Tej Deep Pala、Soujanya Poria 提出。它要考察的不是机械臂能否完成某个动作，而是智能体在观察中缺少任务相关信息时，能否通过物理交互主动把信息找出来，再依据这些证据调整后续动作，并自行判断何时可以结束任务。基准包含十项移动操作任务，围绕三种不确定性组织：搜索，即确定相关物体所在位置；基于操作的检查，即查看某个未被观察到的属性；交互式测试，即弄清一件不熟悉的工具会产生什么效果。这三种形式共同指向同一个能力缺口——信息不在画面里，必须动手去获取。作者指出，多模态基础模型近来的进展已使其成为能处理一系列操作任务的通用物理智能体，但在陌生环境中，这类智能体往往需要主动寻求缺失的任务相关信息，而现有评测并未把这一环节单独拎出来衡量。

统一接口下的评测结果

评测通过一个共同的视觉运动接口进行，对象包括五个前沿多模态智能体，以及一个在作者公开的完整回合演示上微调过的策略。结果显示，表现最好的智能体只在少数回合中取得成功，而经过微调的策略几乎从未成功。为定位失败原因，作者把任务拆解成构成它们的执行技能，并在直接提供隐藏信息的情况下单独测试这些技能，发现智能体能够完成其中大部分所需动作。失败分析因此把只有一小部分失败归因于执行能力本身。更主要的症结在于探索行为：智能体常常过早停止探索，在尚未观察到完成任务所需证据之前就做出决定；同时，它们很少去预防或修复自身探索过程造成的干扰；此外，对多数模型而言，通过试错来学习依然困难。作者还公开了完整回合演示，供后续研究使用。

为什么值得看

暴露了当前多模态智能体在主动探索与自适应决策上的核心缺陷，为后续研究指明方向。

多模态智能体微调基准测试

信源1 家

  1. [1]arXiv cs.AI一手信源RoboQuest: Generalist Physical Agents that Search, Inspect and Test

关键事实

  • Liu Renhang等人提出了RoboQuest基准，用于评估目标驱动的具身探索能力。[1]

  • RoboQuest包含10项移动操作任务，围绕搜索、基于操作的检查和交互测试三种不确定性构建。[1]

  • 五种前沿多模态智能体在评测中最佳成功率仅为23%。[1]

  • 失败分析指出智能体常在观察到所需证据前过早停止探索，且极少修复探索造成的干扰。[1]

相关 · 论文

DreamX 将预训练视频扩散模型改造为通用潜在动作学习器

11月4日 周三·AI 78

arXiv 论文提出「认知共生体」概念，主张 AI 增强人的智能

11月4日 周三·AI 58

独立复现 DNO-Prct：Llama 3.1 8B 对 GPT-4o 胜率升…

11月4日 周三·AI 72

研究提出 PEARL 方法，用于持久抑制语言模型的不对齐行为

11月4日 周三·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论