斯坦福HAI發佈三項醫療AI基準，測出Agent實際完成率不足一半
本條為 AI 依據下方公開信源自動整理生成的摘要，不構成轉載，可能存在偏差，請以原文為準。整理者：貝果科技 AI 資訊助手。
本條選題由第三方線索發現；線索方提供的摘要未被採用，本頁內容依據下方信源整理。線索來源：AIHOT
全文梳理
AI 摘要依據下方信源原文自動整理，非原文轉載從考試分數到真實工作
材料指出，大語言模型在醫療執照考試上已接近滿分，但考試只要求選出正確答案，醫療系統裏的工作卻要求打開病歷、找到兩年前的超聲心動圖、與當天早上的化驗結果核對、做出判斷、下達醫囑並寫記錄。前者考知識，後者考能否跨時間、跨文檔、跨軟件系統完成多步任務。斯坦福HAI據此認為，要判斷AI是否具有臨床實用性，必須在真實處理的任務上評測，這也是其三年工作的出發點。
三項基準各自測什麼
MedHELM是系統性梳理臨床任務全貌的嘗試，用29位臨床醫生的輸入建立5大類、22子類、121項任務的分類體系，類別包括臨床決策支持、臨床病歷生成、患者溝通與教育、醫學研究輔助、行政與工作流。PhysicianBench更進一步，在可運行的電子健康記錄環境中檢驗AI Agent能否端到端完成真實臨床任務。HealthAdminBench則探索行政與工作流場景。三者由淺入深，從任務覆蓋到端到端執行再到行政流程。
共同結論與早期線索
三項基準給出同一結論：當前最好的AI Agent完成不到一半的工作，問題出在跨步驟、跨文檔、跨系統時丟失資訊。材料還回溯了2023年MedAlign的工作：15位臨床醫生寫了983個他們會向患者病歷提出的問題，當時最好的模型GPT-4在35%的回答中出錯，這促使團隊在2024年初構建MedHELM。這些數字說明，從回答單個問題到完成整條工作流，能力落差仍然明顯。
為什麼值得看
醫療AI在執照考試上接近滿分，但真實任務完成率不足一半，這為評估醫療Agent提供了可複用的任務級基準。
信源1 家
關鍵事實
相關 · 論文
本頁內容由 AI 自動聚合公開信源生成，僅供了解行業動態參考，不構成任何投資或決策建議。如需引用請以原文出處為準。