KnowBench 提出以工作量减少评估临床 AI
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载以工作负担减轻为统一指标
这篇论文提出 KnowBench，把临床 AI 的评测从“像不像一份成品”转向“替人省了多少活”。其统一指标名为 Effort Reduction，即系统生成的临床工作产物中，经负责医生在专家与安全审查下接受的部分所占比例。该指标只定义一次，再按任务分别实例化，覆盖临床 AI 所自动化的行政工作：就诊记录、诊断与计费编码、医嘱、电子病历摘要、患者就诊后小结以及临床决策支持。每个实例的构造方式一致：医生的复核与签署事件构成真值来源，被接受的单元即系统完成的工作，每一处更正则是退回给医生的剩余工作量。论文的主要贡献在于基准本身，包括指标、其退化情形，以及一套使 ER 声明可审计、可跨系统比较的报告协议。
文档场景的初步测量
作者同时给出文档实例化场景的一项初步测量结果。该测量覆盖超过一百万次已签署就诊，生产窗口长于六个月，涉及十三个医学专科。Knowtex 自有的、经过微调的临床基础模型运行在闭环反馈架构中，取得总体 ER 为 97.99%，各专科汇总值分布在 96.8 至 98.9 之间。论文说明，本次发布只部分报告了协议清单，并写明哪些配套统计被保留未公开；基准公开的目的，是让这一数字以及此后报告的每一个数字都能被同一套标准衡量。全文共 7 页、含 1 张表，提交于 2026 年 9 月 14 日，归类为 cs.AI。
与研究型评测的差别
论文指出，现有临床 AI 系统多用为研究场景打造的仪器来评估，例如基于参考文本的相似度指标和专家评分量表，这类工具衡量的是与某份产物的接近程度，而不是负担的减少。KnowBench 的落点因此不同：它把医生的复核与签署动作当作真值来源，把被接受的产物计为系统完成的工作，把更正计为回到医生身上的剩余工作量。这一构造在所有任务实例中保持一致，使不同系统之间的 ER 声明具备可比性，也使声明本身可被审计。论文还讨论了该指标的退化情形，并给出相应的报告协议。
适用范围与读者意义
从材料看，ER 的适用范围限于临床 AI 所自动化的行政类工作，包括就诊记录、编码、医嘱、病历摘要、就诊后小结与决策支持等任务，每个任务单独实例化。测量结果来自 Knowtex 自有模型在闭环反馈架构中的生产运行，覆盖十三个专科与超过一百万次签署就诊，并非跨厂商的横向评测。对关注临床 AI 落地效果的一方而言，这套基准提供了一种以医生实际接受度为口径的衡量方式；论文同时提示，本次只部分执行了报告清单，部分配套统计未予披露，因此该总体数字应连同其披露范围一并理解。
为什么值得看
提出以临床实际接受度而非相似度评估 AI，确立了可审计的行业标准。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。