Async-RBench 发布：200 项任务评测 LLM 智能体异步执行
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载异步执行难在哪
论文关注的是智能体的一种常见运行方式：主智能体在子智能体并行工作时继续推进，子智能体的结果可能在任务状态已经变化之后才返回。此时主智能体需要判断哪些工作要更新、哪些要保留、哪些检查要重做，同时不能做出被禁止的改动。只看最终任务是否成功，无法反映这些返回结果有没有被正确处理；而真实环境里结果自然到达的时机又难以复现。Async-RBench 正是为这一缺口设计，把「结果到达之后如何响应」变成可测量、可重复的对象。
基准怎么构造
该基准包含 200 个可执行任务，覆盖八类场景。场景控制器依据预先定义的任务状态条件来调节结果的送达时机，从而在受控条件下复现异步到达。Event Response Contract 为每一次响应规定四类要求：必须改变什么、必须保留什么、必须避免什么、必须重新核验什么。评分方面，Dynamic Replanning Score 把响应过程与最终结果放在同等权重上，并且与任务成功率分开报告，避免用单一的成功率掩盖过程处理上的失误。
九款智能体的实测差距
作者评测了九个智能体，DRS 得分分布在 19.2 到 45.1 之间，其中重复上报和子智能体失败两类情形得分最低。在论文采用的执行协议下，九个智能体在异步送达时的任务成功率全部低于批量送达，平均为 26.0% 对 29.7%。作者还尝试了一种干预：提示主智能体在每次收到结果后重建计划，对三个智能体而言，这一做法只让 DRS 提高 2.6 至 3.5 分。这些结果说明可靠地处理异步返回结果并不容易，也说明在端到端成功率之外单独评估结果处理环节是必要的。
为什么值得看
异步执行是智能体落地的常见形态，该基准把「结果到达后怎么处理」单独量化，并给出九款智能体的实测差距。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。