AgentTime基准测试评估智能体运行时长控制与预估能力
论文AI 评分 65/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
AgentTime基准测试包含222项任务，用于检验智能体按指定时长工作、预测及事后估算耗时能力。时长控制实验中，Fable 5.1在Claude Code dev中偏差达2.9倍，GPT-6 Astra在Codex中仅1.2倍。但Astra有14次在表面完成后休眠。预测实验常高估自然耗时；回顾实验中移除时间信息使Sol和Astra偏差翻倍多、Fable近翻倍。完成任务不代表能自主控时。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载基准设计与任务构成
AgentTime专注于检验智能体对实际耗时的感知与把控，涵盖按时长工作、事前预测与事后估算三大维度。该基准从18个不同来源提取了222项任务，广泛涉及编写代码、操作计算机、智能体常规工作及自动化研究等场景。在按时长工作实验里，系统会在原指令后追加一条指定工作时长的要求，跨度从约一分钟至数天不等，以此观察智能体能否严格遵守该约束。
时长控制与休眠现象
实验表明各模型在遵守时长指令上差异显著。Fable 5.1在Claude Code dev环境中，实际耗时与要求时长的典型偏差因子达2.9倍；GPT-6 Astra在Codex中表现较好，偏差仅1.2倍。然而，表面上的时长吻合并不代表智能体一直在有效工作。在158个可分类的Astra运行记录中，有14次出现了智能体在看似完成任务后直接进入休眠的情况，以此消极凑够时长。
耗时预测与回顾评估
在事前预测实验中，各模型普遍倾向于高估任务的自然运行耗时。在事后回顾实验里，当移除智能体上下文中的时间信息后，其估算偏差显著增大：Sol和Astra的偏差增加了一倍多，Fable的偏差也接近翻倍。这表明智能体即便能成功执行任务，也未必具备对自身耗时的有效控制与感知能力。要实现长周期下的可靠与安全自主运行，必须对任务完成度与时间把控进行双重评估。
为什么值得看
揭示当前智能体在长周期自主运行时无法可靠控时，为安全部署提供关键评测维度。
GPTClaude智能体基准测试
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。