NPC-RubricBench:面向鼻咽癌全程诊疗的分阶段评测基准

论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

现有大模型医学评测多停留在单次临床接触,未覆盖临床责任在纵向诊疗路径中的演变。研究提出 NPC-RubricBench,一个阶段感知基准,以鼻咽癌为对象,评估模型在肿瘤诊疗全流程中的多阶段临床推理能力,并采用患者个体化评分量表进行打分。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

按治疗阶段分别打分

这项名为 NPC-RubricBench 的评测工具,把鼻咽癌诊疗过程拆成若干阶段,为每个阶段单独设定评分标准,再让大语言模型在这些阶段上作答并接受打分。与只看单次问诊表现的做法不同,它关注的是模型能否在疾病进程推进时,把前一阶段留下的信息带到后一阶段继续使用。评测对象是模型在多阶段临床推理中的表现,评分依据来自与患者具体情况对应的量表式条目,而不是一套对所有病例通用的答案。材料给出的适用场景是鼻咽癌,因此这套标准目前只覆盖这一病种的治疗路径,不能直接套用到其他肿瘤。

长程随访才是考察重点

现有针对专科医学的大模型评测,多数把注意力放在彼此孤立的临床接触上,一次问答对应一个场景,答完即结束。NPC-RubricBench 的差异在于把观察窗口拉长到整条诊疗路径,考察临床责任随病程演进而变化时,模型输出是否仍然站得住。这意味着同一名患者的资料会在不同阶段被反复调用,模型需要处理前后信息之间的衔接,而不是每次从零开始。对读者而言,这类评测反映的是模型在连续照护中的稳定性,单轮测试的高分并不能说明它在后续阶段同样可靠。

量表与病例绑定

该基准的评分条目与具体患者绑定,同一阶段下不同患者的合格线并不相同,模型必须结合这名患者的实际情况给出判断,泛泛而谈的通用回答难以拿到分数。材料将其描述为 phase-aware,即评测过程本身知道当前处于哪个阶段,并据此选用对应的评分规则。这种设计使得评测结果更贴近真实诊疗中对个体化判断的要求,但也带来限制:评分依赖事先写好的条目,条目覆盖不到的情形无法被计入。目前公开的信息只说明它用于鼻咽癌的纵向照护,尚未提及其他癌种或更广的临床科室。

为什么值得看

医学大模型评测从单点问答转向纵向诊疗路径,鼻咽癌场景的分阶段量表思路可供专科评测参考。

大模型模型评测

信源1 家

  1. [1]arXiv cs.AI一手信源Patient-specific rubric-based evaluation of large language models across longitudinal cancer care

关键事实

  • 现有大模型评测多聚焦孤立的单次临床接触,而非临床责任在纵向诊疗路径中的演变[1]

  • 研究提出 NPC-RubricBench,一个阶段感知的基准,用于评估肿瘤诊疗全流程中的多阶段临床推理[1]

  • 该基准以鼻咽癌为对象,采用患者个体化评分量表[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。