多模态视觉语言模型预测乳腺活检结果，AUC 0.72 超过单模态基线
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载模型结构与融合方式
该研究构建了一个多模态视觉语言框架，目标是在被建议活检的患者中识别良性肿瘤，尤其针对 BI-RADS 4 和 5 类。影像侧使用 Vision Transformer 提取特征，文本侧使用 DeBERTa-V3-Large 生成报告嵌入。两种模态的特征各自独立提取，再通过晚期融合合并，之后送入分类环节。与早期融合相比，这种做法的特点是保留各模态自身的表征，再在决策层整合。研究同时引入 Grad-CAM 作为可解释手段，输出热力图以标示对预测影响较大的图像区域，使结果不只停留在分类标签上。
数据与评测结果
训练和评估使用一套院内数据集，共 1,632 名患者，每名患者包含四个乳腺摄影视角和一份对应的放射学报告，影像与文本成对出现。在测试集上，多模态方案取得的最佳 AUC 为 0.72，高于仅用图像的 0.66 和仅用文本的 0.68，说明两种信息结合后判别能力有所提升。论文还报告了不同工作点下的灵敏度与特异性：灵敏度为 90%、95%、99%、100% 时，特异性分别为 40%、36%、18%、11%。这组数据表明，高灵敏度以特异性下降为代价，模型倾向于尽量不漏掉恶性病例，但会带来更多假阳性。
定位与适用边界
作者将这套架构定位为辅助识别高风险人群中的良性肿瘤，借助可解释输出帮助减少不必要的活检，并关联到患者焦虑与医疗成本的降低。需要留意的是，评估完全基于单家机构的内部数据，样本规模为千余名患者，结论尚未在外部数据集上验证。AUC 0.72 与高灵敏度下的低特异性也说明，该模型目前更适合作为决策支持中的参考信号，而非独立替代活检判断。论文未给出临床部署时间表或对外使用安排。
为什么值得看
展示多模态融合在乳腺诊断中优于单模态，并给出灵敏度与特异性的取舍数据，对医学影像 AI 研究者有参考价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。