arXiv 论文梳理八种基于 AUC 的临床预测模型公平性指标

论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇提交至 arXiv 的论文考察了文献中提出的八种基于 AUC 的公平性指标,包括组内 AUC 一致性、跨组 AUC(xAUC)一致性、与总体 AUC 的差距、公平缩放 AUC、基于最小值的指标以及三种 xAUC 变体。作者指出,AUC 具有不可折叠性,因此子组 AUC 与总体 AUC 不能像通常假设的那样直接比较。论文刻画了这些指标的估计目标,将其与总体 AUC 分解为组内和跨组分量联系起来,并借助基于 EuroSCORE II 的模拟展示其表现。作者建议报告包含总体 AUC 及全部组内、跨组 AUC 分量的 AUC 矩阵,并附上人群特征。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

AUC 不可折叠带来的问题

论文关注二分类结局的临床预测模型公平性评估。常见做法是比较不同子组的 ROC 曲线下面积(AUC,也称 c 统计量)。作者指出,AUC 属于不可折叠指标,子组层面的取值与总体取值并不处于可直接对照的关系,而现有做法往往默认二者可比。这一性质使得基于 AUC 的公平性指标在使用和解读上都需要重新审视,论文正是围绕这一点展开。

八种指标的刻画与归类

论文逐项分析了八种已有指标:组内 AUC 一致性、跨组 AUC(xAUC)一致性、与总体 AUC 的差距、公平缩放 AUC、基于最小值的指标,以及 xAUC^1、xAUC^0 和二者的联合一致性。作者刻画了每种指标的估计目标,把它们与总体 AUC 分解为组内分量和跨组分量的思路联系起来,并给出评价。借助基于 EuroSCORE II(院内死亡率的临床预测模型)的模拟,论文展示了这些指标在实际数据形态下的表现差异。

报告建议与指标取舍

作者建议以 AUC 矩阵作为主要报告形式,其中包含总体 AUC 以及全部组内、跨组 AUC 分量,同时给出人群特征。若确需公平性指标,首选组内 AUC 一致性;跨组 AUC 一致性可作为补充信息,但需谨慎,因为它可能与校准产生冲突。涉及 xAUC^1 与 xAUC^0 的指标能把组内与跨组 AUC 汇总为单一数值,有其价值,但解读并不直观。与总体 AUC 的差距、公平缩放 AUC 和基于最小值的指标所比较的量本不应相互比较,也难以落地操作,作者认为它们不适合使用,一般不予推荐。

为什么值得看

做临床预测模型公平性评估的团队,可据此判断哪些 AUC 类指标可用、哪些不宜再用。

论文

信源1 家

  1. [1]arXiv cs.AI一手信源Fairness Metrics based on the AUC in Clinical Predictive AI

关键事实

  • 论文考察了文献中提出的八种基于 AUC 的公平性指标[1]

  • 作者指出 AUC 是不可折叠指标,子组值与总体值不能直接比较[1]

  • 作者用基于 EuroSCORE II 的模拟展示各指标的行为[1]

  • 作者建议报告包含总体 AUC 与组内、跨组分量的 AUC 矩阵[1]

  • 作者认为与总体 AUC 的差距、公平缩放 AUC 和基于最小值的指标不适合使用[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。