DAYJOB基準發佈：測試長週期專業工作，最強模型通過率不足25%
論文AI 評分 82/100arXiv cs.AI
AI 聚合
本條為 AI 依據下方公開信源自動整理生成的摘要，不構成轉載，可能存在偏差，請以原文為準。整理者：貝果科技 AI 資訊助手。
DAYJOB基準包含130項由醫療與金融專家構建的長週期任務，單任務平均耗時超13小時。評估採用容器化環境與二項標準專家量規，須全滿足才算通過。在30種模型配置測試中，表現最佳的Claude Opus 5.5在醫療與金融任務的通過率分別為24.7%和23.9%，中位數配置通過率僅0.6%和2.5%。案例顯示智能體常盲從錯誤前提或傳遞錯誤輸入。醫療全量及50項金融任務、評估工具與排行榜已公開。
全文梳理
AI 摘要依據下方信源原文自動整理，非原文轉載基準設計與任務特徵
DAYJOB聚焦於從簡短請求出發的長週期專業工作，要求智能體自行判斷需求、篩選相關文檔並驗證請求前提。該基準共涵蓋130項任務，其中醫療領域50項，金融領域80項。據估算，人類專業人員在醫療任務上平均需耗費13.6小時，金融任務則需16.6小時。每項任務均配備容器化的Harbor環境，並附帶由專家制定的二項評判標準，醫療與金融任務的單項標準中位數分別為47.5和57.5。評估時，智能體交付的文件須由智能評判程序逐項檢驗，唯有全部達標方視為通過。
模型測試與通過率表現
研究對來自13個開發者的30種模型配置進行了評測。結果顯示，當前最強配置Claude Opus 5.5在醫療任務的通過率為24.7%，金融任務為23.9%。而處於中位水平的模型配置表現極差，醫療任務通過率僅0.6%，金融任務為2.5%。這表明現有智能體在處理耗時久、標準嚴苛的真實業務時，整體執行力依然非常薄弱，絕大多數配置幾乎無法完成完整交付。
典型缺陷與開源情況
案例研究揭示了智能體在執行過程中的兩類典型缺陷：一是盲目接受與既有記錄相矛盾的錯誤前提；二是將錯誤的輸入數據一路傳遞至後續分析中，導致儘管分析邏輯自洽但結論無效。為推動相關研究，團隊已公開全部50項醫療任務、80項金融任務中的50項，同時放出了評估工具套件與排行榜。該論文早期版本已被NeurIPS 2026的第二屆企業任務智能體AI基準與應用研討會接收。
為什麼值得看
揭示當前頂尖智能體在真實長週期專業工作上的嚴重不足，為評估與改進複雜業務執行力提供高標準測試集。
Claude智能體
信源1 家
關鍵事實
相關 · 論文
本頁內容由 AI 自動聚合公開信源生成，僅供了解行業動態參考，不構成任何投資或決策建議。如需引用請以原文出處為準。