CUA-Universe 混合 GUI+CLI 环境发布
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载混合环境构建方案
现有的计算机使用代理通常仅通过图形用户界面（GUI）操作，导致轨迹效率低下，或者仅使用命令行界面（CLI）而缺乏视觉感知能力。CUA-Universe 旨在解决这一问题，提供了一个将真实桌面软件转化为混合 GUI+CLI 环境的可扩展管道。该系统通过 App-Forge 组件将应用程序适配为可复现的虚拟机，并自动发现、封装或生成命令行界面，目前已扩展至 16 款应用程序。这种设计允许代理在共享的应用状态下协调视觉状态检查与精确的命令行操作。
任务合成与数据生成
为了训练能够有效利用两种界面的代理，CUA-Universe 引入了 Task-Weave 组件。该组件基于种子文件上的可复用操作，合成出具有可控难度的多样化混合任务。此外，Path-Steer 组件负责引导执行过程沿着高效的混合路径进行，并收集经过验证的轨迹用于模型的后训练。这套流程生成的数据促使模型行为从低效的 GUI 交互和脆弱的 CLI 脚本，转向有效的 GUI+CLI 编排。
基准测试性能表现
基于 CUA-Universe 数据训练的 9B 参数模型在多项基准测试中表现出显著的性能提升。在 CUA-Verse 测试中，模型得分提高了 39.3 分，操作步数减少了 37%，Token 消耗降低了 60%。在 OSWorld 标准测试中，成功率（SR）提升了 16.8 分，步数减少 57%，Token 消耗减少 44%。即使在 OSWorld-MCP 测试中，模型得分也提高了 7.84 分，步数和 Token 消耗分别减少了 27% 和 30%。
为什么值得看
解决单一 GUI 或 CLI 代理的局限，显著提升计算机使用代理的效率与成功率。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。