arXiv 发布 AI Consilium 临床多学科会诊基准

论文AI 评分 72/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇题为 AI Consilium 的论文提出用 300 个 NEJM-MedQA 已确诊案例做多维基准,其中 110 例用于医生参考评分与 Judge 校准,190 例留作评测。八条单模型流水线在自由形式与结构化临床推理两种条件下生成角色化意见与会诊报告,医生校准的 LLM Judge 共评估 3040 份最终报告及对应结构化主角色输出。结果显示模型身份对报告质量的影响强于回答格式,结构化最终报告在八条流水线中的七条取得更高均分,管理维度差距最明显;完整结构化综合在五项共同标准上均高于结构化会诊前的主角色意见,问题优先级、事实依据与推理连贯性提升最大。GPT-5.6-Sol 在所有评测组件中领先,并以最少轮次达成共识。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

基准怎么搭的

论文把评测对象定为临床多学科第二意见,强调有用的第二意见不仅要给出鉴别诊断,还要事实有据、临床连贯、可执行且安全。为此构建了多维基准,案例取自 NEJM-MedQA 中已有诊断结论的 300 例,其中 110 例用于医生参考评分和 Judge 校准,剩下 190 例作为留出评测集。评测流程上,八条单模型流水线分别生成独立的角色化意见,并在自由形式和结构化临床推理两种条件下产出交互式会诊报告。最终由医生校准过的 LLM Judge 对 3040 份最终报告以及对应的结构化主角色输出打分。

格式与模型谁更关键

结果里一个值得注意的对照是:模型身份对报告质量的区分度比回答格式更强。也就是说,换模型带来的差异比换输出格式更明显。不过格式并非没有作用,结构化最终报告在八条模型流水线中的七条拿到更高的总体均分,优势最清楚地体现在管理维度上,结构化报告为 2.740,非结构化对照为 2.436。这说明把临床推理组织成结构化形式,对可执行的管理建议帮助最大。

多学科综合的增量

论文还比较了结构化会诊前的主角色意见与完整的结构化综合报告。在五项共同标准上,完整综合的汇总得分都更高,提升幅度最大的是问题优先级排序、事实依据和推理连贯性三项。这为多学科综合本身的价值提供了量化证据,而不只是看单个模型输出。此外,GPT-5.6-Sol 在所有被评测组件中都处于领先,并且用最少的评审轮次达成共识,这同时反映了模型能力与审议动态两个维度。

这个基准能测什么

作者称该基准能在同一套常见案例评测中区分出几类东西:模型能力差异、多学科综合带来的贡献、回答结构在具体标准上的效果、审议动态,以及推理开销需求。对做医疗 LLM 评测或临床决策支持的人来说,这意味着可以拿它来定位改进点究竟在模型、在综合流程,还是在输出结构上。论文编号为 arXiv:2610.22298,提交于 2026 年 10 月 15 日,属 cs.CL 与 cs.AI 分类。

为什么值得看

用统一基准拆解模型能力、多学科综合与回答结构各自的贡献,对做医疗 LLM 评测的人有直接参考价值。

GPT论文

信源1 家

  1. [1]arXiv cs.AI一手信源AI Consilium: a Benchmark of LLM Clinical Multidisciplinary Second Opinions

关键事实

  • 基准使用 300 个 NEJM-MedQA 已确诊案例,110 例用于医生参考评分与 Judge 校准,190 例留作评测[1]

  • 八条单模型流水线在自由形式与结构化临床推理条件下生成角色化意见与会诊报告[1]

  • 医生校准的 LLM Judge 评估了 3040 份最终报告及对应结构化主角色输出[1]

  • 结构化最终报告在八条流水线中的七条均分更高,管理维度为 2.740 对 2.436[1]

  • GPT-5.6-Sol 在所有评测组件中领先,并以最少轮次达成共识[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。