JarvisGUI 跨设备 GUI 智能体基准发布
论文AI 评分 65/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
JarvisGUI 是一个评估跨设备 GUI 智能体的动态基准，涵盖 Android、Windows 和 Ubuntu 平台。该基准通过轻量级类型系统将任务定义为输入输出转换，自动组合多步骤工作流。测试显示，现有开源智能体在状态传递感知、跨平台上下文推理及长跨度依赖管理方面存在显著不足。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载跨平台测试环境
现有的 GUI 基准大多局限于单设备和静态定义的任务，无法真实反映跨设备工作流的需求。JarvisGUI 针对这一缺陷，构建了跨越 Android、Windows 和 Ubuntu 等异构平台的虚拟环境。它要求智能体在不同操作系统间进行协调交互，处理中间结果的传输和共享状态的维护，从而更贴近现实世界的使用场景。
动态任务组合机制
为了实现灵活的评估，JarvisGUI 引入了一种轻量级类型系统，将 GUI 任务形式化为输入输出转换。基于这一机制，基准能够自动组合出多步骤、跨设备的工作流。这种动态评估方式允许在统一框架内测试智能体性能，避免了传统静态基准的局限性，能够更全面地考察智能体在复杂流程中的表现。
现有模型能力短板
在 JarvisGUI 的测试下，当前最先进的开源 GUI 智能体暴露出了关键的能力缺口。这些模型在状态传递感知、跨平台上下文推理以及长跨度依赖管理方面表现挣扎。这些在单设备基准中无法发现的问题，表明现有智能体距离真正胜任现实世界的跨设备工作流仍有较大差距。
为什么值得看
揭示了现有 GUI 智能体在跨设备协同场景下的能力短板。
智能体
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。