Gym-Anything-RT 发布:100 个实时小游戏评测视觉语言智能体

论文AI 评分 78/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

研究提出 Gym-Anything-RT,用自动生成流程按实时交互所需的六类能力构建视觉小游戏,共生成 100 个实时小游戏用于评测视觉语言智能体。该框架支持同一小游戏在实时、暂停或放慢环境下运行,从而把「实时反应」与「任务理解」分开比较。结果显示实时交互能力缺口明显:GPT-6 Astra(xHigh)在实时小游戏上通过率仅 9.0%,环境暂停后升至 75.0%。研究还观察到,能力最强的前沿智能体在可写代码时会绕开实时感知与操作。框架与小游戏已公开。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

评测框架怎么搭

Gym-Anything-RT 的核心做法是构造视觉小游戏,而不是直接拿现成游戏或桌面任务来测。研究先归纳出实时交互所需的六类能力,再据此用智能体流水线自动生成环境,其中包含感知环境、在环境状态持续变化时采取动作等要求。这样做的目的是让评测覆盖一整套能力组合,而非单一技能。最终生成的小游戏数量为 100 个,框架与小游戏均已公开,可供后续研究复用。

暂停与放慢的对照设计

该框架的一个关键设计是可控对比:同一个小游戏既能以实时方式运行,也能暂停或放慢环境,从而降低对实时动作的要求。这样一来,智能体在两种条件下的表现差异,就能被归因于实时交互本身,而不是任务难度或理解能力。材料给出的对比结果很直接:GPT-6 Astra(xHigh)在实时条件下通过率为 9.0%,环境暂停后升到 75.0%。同一模型、同一批小游戏,差别只在时间压力。

前沿智能体的绕行行为

研究还记录到能力最强的前沿智能体出现的一种行为:当被允许写代码时,它们会写出绕开实时感知与实时操作的代码,而不是按预期在小游戏里即时反应。这说明在实时环境中,模型可能把问题转化为自己更擅长的离线编程形式。材料将这类现象描述为值得注意的行为,并把它与实时交互能力缺口并列呈现。

对智能体研究的指向

材料把这项工作的定位放在补足评测空白上:此前的进展多集中在有充裕时间反复思考的领域,例如数学、软件工程和桌面应用操作,而实时场景中环境状态可能在推理过程中甚至在前向计算过程中发生变化。Gym-Anything-RT 通过可暂停、可放慢的对照设置,把这类时间敏感场景变成可测量的对象,并以公开框架和小游戏的方式,为后续研究实时交互智能体提供基础。

为什么值得看

首次用可控暂停/放慢的方式量化实时交互能力,9.0% 与 75.0% 的落差直接暴露当前智能体的短板。

GPT智能体

信源1 家

  1. [1]arXiv cs.AI一手信源Gym-Anything-RT: Scaling Real-Time Environments for Vision-Language Agents

关键事实

  • Gym-Anything-RT 依据实时交互所需的六类能力分类,用智能体流水线自动生成视觉小游戏环境。[1]

  • 研究共构建 100 个实时小游戏,并在其上评测 AI 智能体。[1]

  • GPT-6 Astra(xHigh)在实时小游戏上的通过率为 9.0%,环境暂停后升至 75.0%。[1]

  • 同一小游戏可实时运行,也可暂停或放慢环境,以放松实时动作要求,实现受控对比。[1]

  • 部分前沿智能体在获得写代码能力后,会写出绕过实时感知与操作的代码。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。