斯坦福HAI发布三项医疗AI基准，测出Agent实际完成率不足一半
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
本条选题由第三方线索发现；线索方提供的摘要未被采用，本页内容依据下方信源整理。线索来源：AIHOT
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载从考试分数到真实工作
材料指出，大语言模型在医疗执照考试上已接近满分，但考试只要求选出正确答案，医疗系统里的工作却要求打开病历、找到两年前的超声心动图、与当天早上的化验结果核对、做出判断、下达医嘱并写记录。前者考知识，后者考能否跨时间、跨文档、跨软件系统完成多步任务。斯坦福HAI据此认为，要判断AI是否具有临床实用性，必须在真实处理的任务上评测，这也是其三年工作的出发点。
三项基准各自测什么
MedHELM是系统性梳理临床任务全貌的尝试，用29位临床医生的输入建立5大类、22子类、121项任务的分类体系，类别包括临床决策支持、临床病历生成、患者沟通与教育、医学研究辅助、行政与工作流。PhysicianBench更进一步，在可运行的电子健康记录环境中检验AI Agent能否端到端完成真实临床任务。HealthAdminBench则探索行政与工作流场景。三者由浅入深，从任务覆盖到端到端执行再到行政流程。
共同结论与早期线索
三项基准给出同一结论：当前最好的AI Agent完成不到一半的工作，问题出在跨步骤、跨文档、跨系统时丢失信息。材料还回溯了2023年MedAlign的工作：15位临床医生写了983个他们会向患者病历提出的问题，当时最好的模型GPT-4在35%的回答中出错，这促使团队在2024年初构建MedHELM。这些数字说明，从回答单个问题到完成整条工作流，能力落差仍然明显。
为什么值得看
医疗AI在执照考试上接近满分，但真实任务完成率不足一半，这为评估医疗Agent提供了可复用的任务级基准。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。