OSWorld-Pro发布：基于过程的电脑操控智能体评测基准
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载从终态打分转向过程打分
现有针对计算机使用智能体的评测，通常只看任务跑完数百步之后交付的最终产物，并用功能性校验器判定是否达标，OSWorld 就是这种思路的代表。问题在于，这种只看终点的做法无法说明智能体在哪一步出错、为什么出错，也就难以据此改进。OSWorld-Pro 把评测拆到过程层面：它构建了三百多个任务，任务内部再细分为两千八百多个子目标，这些子目标的划分依据来自六万七千余条人工标注。评测时不再只等最后一步，而是沿着一条前后依赖的子目标链条，逐步判断每个环节是否完成，从而把模型在任务推进过程中的进展呈现出来。论文作者共十二人，材料给出的提交时间为 2026 年 9 月 21 日。
子目标判定依靠模型评审
要让过程评测可执行，需要为每个子目标给出是否达成的判断。OSWorld-Pro 采用与人类判断对齐的 LLM-Judge 来评估子目标的完成情况，再由这些逐点结论串起整条子目标序列上的进度。这种设计的意义在于区分失败类型：材料举的例子是，在键盘输入环节出错的智能体，与无法在图形界面上准确完成点击输入的智能体，需要的是不同的应对办法；如果只看最终交付物，这两类问题会被混成同一个失败结果。把判定落到子目标粒度，失败模式就能被定位到具体动作类型上，而不是笼统地归为任务未完成。
分数落差与失败模式
材料给出的对比是：同一批模型在 OSWorld-Pro 上的表现低于在 OSWorld 上的表现，表现最好的 Claude Opus 5 在 OSWorld-Pro 上为 75.7%，在 OSWorld 上为 83.4%。这说明即便对当前领先的模型，过程层面的评测依然构成挑战，终点达标并不等于每一步都走得稳。论文还归纳出若干以过程为中心的失败模式，其中提到与子目标无关的动作，以及基于点击的输入错误。对关注计算机使用智能体的人来说，这意味着单看最终任务成功率会高估系统的可靠性；若要判断一个智能体能否在真实操作流程中稳定工作，需要看它在子目标序列上的逐步表现，以及错误集中在哪类交互动作上。材料未给出各子目标的具体分布与判定细节。
为什么值得看
揭示顶级模型在长程电脑操控中的具体失败环节，为针对性优化智能体交互动作提供细粒度依据。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。