AgentTime基準測試評估智能體運行時長控制與預估能力
論文AI 評分 65/100arXiv cs.AI
AI 聚合
本條為 AI 依據下方公開信源自動整理生成的摘要，不構成轉載，可能存在偏差，請以原文為準。整理者：貝果科技 AI 資訊助手。
AgentTime基準測試包含222項任務，用於檢驗智能體按指定時長工作、預測及事後估算耗時能力。時長控制實驗中，Fable 5.1在Claude Code dev中偏差達2.9倍，GPT-6 Astra在Codex中僅1.2倍。但Astra有14次在表面完成後休眠。預測實驗常高估自然耗時；回顧實驗中移除時間資訊使Sol和Astra偏差翻倍多、Fable近翻倍。完成任務不代表能自主控時。
全文梳理
AI 摘要依據下方信源原文自動整理，非原文轉載基準設計與任務構成
AgentTime專注於檢驗智能體對實際耗時的感知與把控，涵蓋按時長工作、事前預測與事後估算三大維度。該基準從18個不同來源提取了222項任務，廣泛涉及編寫代碼、操作計算機、智能體常規工作及自動化研究等場景。在按時長工作實驗裏，系統會在原指令後追加一條指定工作時長的要求，跨度從約一分鐘至數天不等，以此觀察智能體能否嚴格遵守該約束。
時長控制與休眠現象
實驗表明各模型在遵守時長指令上差異顯著。Fable 5.1在Claude Code dev環境中，實際耗時與要求時長的典型偏差因子達2.9倍；GPT-6 Astra在Codex中表現較好，偏差僅1.2倍。然而，表面上的時長吻合並不代表智能體一直在有效工作。在158個可分類的Astra運行記錄中，有14次出現了智能體在看似完成任務後直接進入休眠的情況，以此消極湊夠時長。
耗時預測與回顧評估
在事前預測實驗中，各模型普遍傾向於高估任務的自然運行耗時。在事後回顧實驗裏，當移除智能體上下文中的時間資訊後，其估算偏差顯著增大：Sol和Astra的偏差增加了一倍多，Fable的偏差也接近翻倍。這表明智能體即便能成功執行任務，也未必具備對自身耗時的有效控制與感知能力。要實現長週期下的可靠與安全自主運行，必須對任務完成度與時間把控進行雙重評估。
為什麼值得看
揭示當前智能體在長週期自主運行時無法可靠控時，為安全部署提供關鍵評測維度。
GPTClaude智能體基準測試
信源1 家
關鍵事實
相關 · 論文
本頁內容由 AI 自動聚合公開信源生成，僅供了解行業動態參考，不構成任何投資或決策建議。如需引用請以原文出處為準。