arXiv 發佈 AI Consilium 臨床多學科會診基準

論文AI 評分 72/100arXiv cs.AI
AI 聚合

本條為 AI 依據下方公開信源自動整理生成的摘要,不構成轉載,可能存在偏差,請以原文為準。整理者:貝果科技 AI 資訊助手。

一篇題為 AI Consilium 的論文提出用 300 個 NEJM-MedQA 已確診案例做多維基準,其中 110 例用於醫生參考評分與 Judge 校準,190 例留作評測。八條單模型流水線在自由形式與結構化臨床推理兩種條件下生成角色化意見與會診報告,醫生校準的 LLM Judge 共評估 3040 份最終報告及對應結構化主角色輸出。結果顯示模型身份對報告質素的影響強於回答格式,結構化最終報告在八條流水線中的七條取得更高均分,管理維度差距最明顯;完整結構化綜合在五項共同標準上均高於結構化會診前的主角色意見,問題優先級、事實依據與推理連貫性提升最大。GPT-5.6-Sol 在所有評測組件中領先,並以最少輪次達成共識。

全文梳理

AI 摘要依據下方信源原文自動整理,非原文轉載

基準怎麼搭的

論文把評測對象定為臨床多學科第二意見,強調有用的第二意見不僅要給出鑑別診斷,還要事實有據、臨床連貫、可執行且安全。為此構建了多維基準,案例取自 NEJM-MedQA 中已有診斷結論的 300 例,其中 110 例用於醫生參考評分和 Judge 校準,剩下 190 例作為留出評測集。評測流程上,八條單模型流水線分別生成獨立的角色化意見,並在自由形式和結構化臨床推理兩種條件下產出交互式會診報告。最終由醫生校準過的 LLM Judge 對 3040 份最終報告以及對應的結構化主角色輸出打分。

格式與模型誰更關鍵

結果裏一個值得注意的對照是:模型身份對報告質素的區分度比回答格式更強。也就是說,換模型帶來的差異比換輸出格式更明顯。不過格式並非沒有作用,結構化最終報告在八條模型流水線中的七條拿到更高的總體均分,優勢最清楚地體現在管理維度上,結構化報告為 2.740,非結構化對照為 2.436。這說明把臨床推理組織成結構化形式,對可執行的管理建議幫助最大。

多學科綜合的增量

論文還比較了結構化會診前的主角色意見與完整的結構化綜合報告。在五項共同標準上,完整綜合的彙總得分都更高,提升幅度最大的是問題優先級排序、事實依據和推理連貫性三項。這為多學科綜合本身的價值提供了量化證據,而不只是看單個模型輸出。此外,GPT-5.6-Sol 在所有被評測組件中都處於領先,並且用最少的評審輪次達成共識,這同時反映了模型能力與審議動態兩個維度。

這個基準能測什麼

作者稱該基準能在同一套常見案例評測中區分出幾類東西:模型能力差異、多學科綜合帶來的貢獻、回答結構在具體標準上的效果、審議動態,以及推理開銷需求。對做醫療 LLM 評測或臨床決策支持的人來說,這意味着可以拿它來定位改進點究竟在模型、在綜合流程,還是在輸出結構上。論文編號為 arXiv:2610.22298,提交於 2026 年 10 月 15 日,屬 cs.CL 與 cs.AI 分類。

為什麼值得看

用統一基準拆解模型能力、多學科綜合與回答結構各自的貢獻,對做醫療 LLM 評測的人有直接參考價值。

GPT論文

信源1 家

  1. [1]arXiv cs.AI一手信源AI Consilium: a Benchmark of LLM Clinical Multidisciplinary Second Opinions

關鍵事實

  • 基準使用 300 個 NEJM-MedQA 已確診案例,110 例用於醫生參考評分與 Judge 校準,190 例留作評測[1]

  • 八條單模型流水線在自由形式與結構化臨床推理條件下生成角色化意見與會診報告[1]

  • 醫生校準的 LLM Judge 評估了 3040 份最終報告及對應結構化主角色輸出[1]

  • 結構化最終報告在八條流水線中的七條均分更高,管理維度為 2.740 對 2.436[1]

  • GPT-5.6-Sol 在所有評測組件中領先,並以最少輪次達成共識[1]

相關 · 論文

本頁內容由 AI 自動聚合公開信源生成,僅供了解行業動態參考,不構成任何投資或決策建議。如需引用請以原文出處為準。