AI 圈大事记

KnowBench 提出以工作量减少评估临床 AI

论文AI 评分 65/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手

Knowtex 发布 KnowBench 基准,主张用「工作量减少」(ER)作为评估临床 AI 的统一指标。ER 定义为经专家与安全审查后,临床医生接受系统生成工作产出的比例,涵盖就诊记录、诊断代码等行政任务。该基准以医生审核确认事件为基准,接受单元视为系统完成工作,修正则视为残留工作量。论文报告了文档类任务的初步测量结果:基于 13 个专科、超 100 万次签约问诊、跨度半年的生产数据,Knowtex 微调的临床基础模型在闭环反馈架构下实现了 97.99% 的综合 ER,各专科 ER 分布在 96.8% 至 98.9% 之间。

为什么值得看

提出以临床实际接受度而非相似度评估 AI,确立了可审计的行业标准。

微调安全论文

信源1

  1. [1]arXiv cs.AI一手信源KnowBench: Effort Reduction as a Unified, Deployment-Grounded Benchmark for Clinical AI

关键事实

  • KnowBench 基准以「工作量减少」(ER)为核心指标,衡量临床医生接受系统生成产出的比例。[1]

  • ER 指标适用于就诊记录、诊断代码、医嘱、病历总结等行政自动化任务。[1]

  • Knowtex 模型在 13 个专科、超 100 万次问诊、半年生产数据中测得综合 ER 为 97.99%。[1]

  • 各专科 ER 聚合数据范围在 96.8% 至 98.9% 之间。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。