ALLMTS 让 LLM 执行分诊指南,过度升级率降至 2%

论文AI 评分 72/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

研究提出 ALLMTS,不直接让大模型做电话分诊判断,而是让它先选出对应的商业远程医疗指南,再逐条回答指南中的评估问题,处置结果按护士使用的同一遍历规则从第一个肯定回答确定性地得出。在 566 个经专家验证的合成场景(覆盖 14 种处置)上,ALLMTS 准确率为 0.95,直接调用 LLM 的基线为 0.47。团队另发布 50 场景开放基准,ALLMTS 在该子集上达到 0.98,与五名护士专家小组记录的 0.944 正确处置率相当;该子集上基线过度升级率最高 0.50(全数据集 0.44),ALLMTS 压到不超过 0.02,同时保持较低漏升级率。论文被 NeurIPS 2026 GenAI4Health Workshop 接收。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

不直接让模型下判断

电话分诊属于安全关键任务:护士需要根据简短的接诊记录,判断来电者应当呼叫救护车、前往急诊、预约就诊还是居家自我照护。直接向大模型提问并不可靠,模型会把常规情况过度升级,也无法对照可审计的临床标准解释自己的建议。ALLMTS 的做法是把模型从判断者改为执行者:先由模型选出适用的远程医疗指南,再逐条评估指南中的分诊问题,处置结果按护士使用的同一遍历规则,从第一个肯定回答确定性地推出。这样每一步都能回溯到具体指南条目。

合成场景上的量化对比

评估使用 566 个合成场景,这些场景经专家验证,覆盖 14 种处置,并针对特定指南问题设计。ALLMTS 的准确率为 0.95,直接调用大模型的基线为 0.47。团队还整理出 50 个场景作为开放基准发布,ALLMTS 在该子集上达到 0.98,与五名护士专家小组在同一批场景上记录的 0.944 正确处置率处于同一水平。这说明在受控场景中,指南执行路径的准确度已接近人类专家小组的表现。

过度升级率的差距

分诊系统的一个关键风险是把本可居家处理的来电者推向更高等级资源。在该 50 场景子集上,基线的过度升级率最高达到 0.50,全数据集上为 0.44;ALLMTS 把这一比例压到不超过 0.02,同时保持较低的漏升级率。作者据此认为,把大模型的语言理解能力与可执行的临床指南结合,是从接诊记录出发做分诊的可行方向。该工作被 NeurIPS 2026 的 GenAI4Health Workshop 接收。

为什么值得看

把 LLM 的语言理解与可审计的临床指南执行解耦,给出了分诊场景下可复核、可降低过度升级的工程路径。

大模型论文数据集

信源1 家

  1. [1]arXiv cs.AI一手信源ALLMTS: Automated LLM-based Medical Triage System

关键事实

  • ALLMTS 让 LLM 选择指南并回答其分诊评估问题,处置由第一个肯定回答按固定规则确定[1]

  • 在 566 个合成且经专家验证、覆盖 14 种处置的场景上,ALLMTS 准确率 0.95,原始 LLM 基线 0.47[1]

  • 50 场景开放基准上 ALLMTS 准确率 0.98,五名护士专家小组的正确处置率为 0.944[1]

  • 该子集上基线过度升级率最高 0.50,全数据集为 0.44,ALLMTS 不超过 0.02[1]

  • 论文被 NeurIPS 2026 的 GenAI4Health Workshop 接收[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。