arXiv 发布 AI Consilium 临床多学科会诊基准
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载基准怎么搭的
论文把评测对象定为临床多学科第二意见,强调有用的第二意见不仅要给出鉴别诊断,还要事实有据、临床连贯、可执行且安全。为此构建了多维基准,案例取自 NEJM-MedQA 中已有诊断结论的 300 例,其中 110 例用于医生参考评分和 Judge 校准,剩下 190 例作为留出评测集。评测流程上,八条单模型流水线分别生成独立的角色化意见,并在自由形式和结构化临床推理两种条件下产出交互式会诊报告。最终由医生校准过的 LLM Judge 对 3040 份最终报告以及对应的结构化主角色输出打分。
格式与模型谁更关键
结果里一个值得注意的对照是:模型身份对报告质量的区分度比回答格式更强。也就是说,换模型带来的差异比换输出格式更明显。不过格式并非没有作用,结构化最终报告在八条模型流水线中的七条拿到更高的总体均分,优势最清楚地体现在管理维度上,结构化报告为 2.740,非结构化对照为 2.436。这说明把临床推理组织成结构化形式,对可执行的管理建议帮助最大。
多学科综合的增量
论文还比较了结构化会诊前的主角色意见与完整的结构化综合报告。在五项共同标准上,完整综合的汇总得分都更高,提升幅度最大的是问题优先级排序、事实依据和推理连贯性三项。这为多学科综合本身的价值提供了量化证据,而不只是看单个模型输出。此外,GPT-5.6-Sol 在所有被评测组件中都处于领先,并且用最少的评审轮次达成共识,这同时反映了模型能力与审议动态两个维度。
这个基准能测什么
作者称该基准能在同一套常见案例评测中区分出几类东西:模型能力差异、多学科综合带来的贡献、回答结构在具体标准上的效果、审议动态,以及推理开销需求。对做医疗 LLM 评测或临床决策支持的人来说,这意味着可以拿它来定位改进点究竟在模型、在综合流程,还是在输出结构上。论文编号为 arXiv:2610.22298,提交于 2026 年 10 月 15 日,属 cs.CL 与 cs.AI 分类。
为什么值得看
用统一基准拆解模型能力、多学科综合与回答结构各自的贡献,对做医疗 LLM 评测的人有直接参考价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
