CAT-CKD：冻结ViT加轻量适配器做无源域适应皮肤癌诊断

11月3日周二 01:58论文AI 评分 66/100arXiv cs.AI

AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

针对多源无源无监督域适应（MSFDA）在皮肤癌诊断中的落地难题，作者提出 CAT-CKD。它由两部分组成：一是在冻结的 ViT 主干内训练轻量 ConvPass 适配器，用监督对比学习先建立共享的域不变特征空间，再训练各源模型；二是把多个源模型的 logits 聚合成共识监督信号，用 KL 散度在无标注目标数据上适配学生模型。在五个公开皮肤病变数据集上平均 AUROC 达 86.1%，可训练参数仅 4.3M，优于现有 MSFDA 方法。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

要解决的问题

黑色素瘤与良性痣在视觉上高度相似，使皮肤癌诊断本身就有难度。CNN 与 ViT 虽然在相关任务上表现不错，但换到来源不同的临床数据时效果会明显下降。常规域适应方法需要接触源数据，而隐私法规往往让这一前提不成立。多源无源无监督域适应（MSFDA）因此被提出：利用多个有标注源域，在不访问源数据的情况下泛化到无标注目标域。作者认为现有 MSFDA 做法存在三处短板：依赖全主干微调，在小规模临床数据上容易灾难性遗忘和过拟合；只在聚合阶段处理域偏移，没有建立共享的域不变特征空间；依赖硬伪标签或置信度加权聚合，在域偏移下会引入带噪监督信号。

方法的两块拼图

CAT-CKD 的第一部分是对比适配器训练（CAT）：主干 ViT 保持冻结，只在其内部训练轻量 ConvPass 适配器，并用监督对比学习来塑造一个共享的、域不变的特征空间，这一步发生在训练各源专属模型之前。第二部分是共识知识蒸馏（CKD）：把多个源模型输出的 logits 聚合成一个共识监督信号，再以 KL 散度为约束，在无标注的目标数据上适配学生模型。两者组合的思路是先在特征层面拉齐各源，再在输出层面用共识信号替代容易出错的硬伪标签。

实验与可用性

作者在五个公开皮肤病变数据集上做了实验，CAT-CKD 的平均 AUROC 为 86.1%，超过现有 MSFDA 方法，同时可训练参数只有 4.3M，体现出冻结主干加轻量适配器在参数效率上的优势。论文提供了代码链接，便于复现与后续对比。对关注医学影像跨中心部署的读者，这篇工作的看点在于把「不接触源数据」的隐私约束与「不整体微调」的参数约束放在同一个框架里处理。

为什么值得看

用 4.3M 可训练参数在隐私受限、无法访问源数据的临床场景下做跨中心适配，给出了可复现的轻量方案。

微调蒸馏数据集

信源1 家

[1]arXiv cs.AI一手信源Contrastive Adapter Training and Consensus Knowledge Distillation for Multi-Source-Free Domain Adaptation in Skin Cancer Diagnosis

关键事实

方法名为 CAT-CKD，包含对比适配器训练（CAT）与共识知识蒸馏（CKD）两部分[1]
CAT 在冻结的 ViT 主干内训练轻量 ConvPass 适配器，用监督对比学习建立共享域不变特征空间[1]
CKD 将多个源模型的 logits 聚合为共识监督信号，用 KL 散度在无标注目标数据上适配学生模型[1]
在五个公开皮肤病变数据集上平均 AUROC 为 86.1%，可训练参数 4.3M[1]
作者指出既有 MSFDA 方法依赖全主干微调，易在小规模临床数据上灾难性遗忘与过拟合[1]

CAT-CKD：冻结ViT加轻量适配器做无源域适应皮肤癌诊断

全文梳理

要解决的问题

方法的两块拼图

实验与可用性

为什么值得看

信源1 家

关键事实

相关 · 论文

Axiom Math 融资 16 亿美元，为 AI 数学构建可验证基础

BEAKER：面向自动驾驶化学实验室的具身智能基准发布

FrontierPhysics 基准发布：56 项任务考察智能体端到端物理研究

HALO 人形机器人系统：仿真训练实现零样本真机迁移，成功率 91%