研究探索 GPT-4 与知识图谱辅助急诊复查筛查

论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一项针对急诊科回访质量审查的研究对比了临床医生与 GPT-4 的判断差异。在仅依据主要诊断评估 99 对诊断是否需进一步审查时,GPT-4 判定需复查的比例高达 94%,是医生的 4.4 至 13.3 倍,且与医生评分相关性低。研究据此构建了基于大语言模型填充的知识图谱算法,其针对医生判断的阳性预测值达 83% 至 100%。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

回访筛查的既有做法

急诊科回访常被纳入质量核查流程,但核查范围往往被压缩,例如只覆盖较短时间窗内的再次就诊。这样做的目的是提高可操作发现的产出比例,同时压低病历审阅的工作量。材料指出,这种限制可能让部分质量改进机会被漏掉。为考察更宽时间窗内的判断过程,研究者在同一多院区医疗系统内随机抽取急诊就诊记录,纳入标准是同一系统内一至十四天内出现再次就诊。评审者拿到手的只有每次就诊的主要诊断,需要据此判断两次诊断构成的诊断对具有哪些特征,其中一个核心判断项是这对诊断是否值得进一步评估。

评审者与模型的判断差异

参与判断的一方是临床评审者,每次由两到三名临床医生组成;另一方是 GPT-4 大语言模型。研究共纳入九十九对诊断。结果显示,GPT-4 的作答与临床评审者的相关性较弱,它把几乎所有诊断对都判为需要随访,比例为百分之九十四,是临床评审者给出同类判断频次的四点四到十三点三倍。材料同时说明,对模型所做的提示词设计相当有限。在临床评审者内部,回访所涉医疗严重程度与目标判断项之间始终存在显著关联;由鉴别诊断与并发症构成的复合指标在未校正分析中显著,校正后不再显著,而校正分析的统计效力更低。

知识图谱筛查的初步表现

在分析评审者作答的基础上,研究者构建了一套算法,借助由大语言模型填充的知识图谱自动筛查可能值得关注的诊断对,并做了初步评估。该知识图谱算法在预测至少一名临床评审者认为该诊断对需要进一步评估这一点上,取得了百分之八十三至百分之一百的阳性预测值。作者认为,这些结果可为改进 ChatGPT 一类大语言模型的筛查方式提供参考,后续需要开展研究来验证本次初步工作的发现,即该知识图谱或许能在不明显增加审阅者工作量的前提下,扩大筛查覆盖范围并提升产出。

为什么值得看

实测 GPT-4 在医疗筛查中的高误报率及知识图谱的修正潜力。

GPT

信源1 家

  1. [1]arXiv cs.AI一手信源Emergency Department Revisit Quality Review Screening: Exploring Human Decision-Making and Artificial Intelligence Support

关键事实

  • GPT-4 判定需复查的比例高达 94%,是医生的 4.4 至 13.3 倍。[1]

  • 基于 LLM 填充的知识图谱算法阳性预测值达 83% 至 100%。[1]

  • 研究包含 99 对诊断,由 2 至 3 名临床医生和 GPT-4 进行评估。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。