DIGOM 用解耦交互图做多模态医疗结局预测
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载三类交互如何被拆开建模
多模态医疗数据里的关系信息不限于单个患者的观测记录，因此预测临床结局时既要融合多种模态，也要刻画它们之间的关联。常规融合方式没有显式捕捉这些交互，已有图方法通常只覆盖其中一部分。DIGOM 的做法是把交互拆成三类并同时建模：同一患者身上不同模态之间的交互、不同患者之间同一模态的交互、以及不同患者之间不同模态的交互。对应地，模型学习一个稀疏多重图，图中包含彼此解耦的多个视图，每个视图编码一对模态在患者之间的交互关系，从而把原本混在一起的关系结构分开处理。
可微采样与稀疏性约束
在图的构建上，DIGOM 不采用固定邻居数的设定，而是采样离散邻接矩阵，并让连接关系随患者自适应调整。采样通过可微机制完成，使整个流程可以端到端训练，模型因此能自行挑选有信息量的关系。为避免图变得过密，训练目标中加入正则项以维持整体稀疏性；随后通过消息传递把这种关系上下文并入患者表示，用于结局预测。论文强调，这套设计使模型在保持较少连接的同时仍能利用关系信息。
五项任务上的表现与稳健性
实验在 MIMIC-IV 与 NIH-TB 两个多模态医疗数据集上展开，覆盖五项临床预测任务。DIGOM 在全部五项任务上取得最高 AUROC，同时使用的连接数少于现有多交互方法。消融实验表明，三类交互各自的贡献因任务而异，说明关系结构需要按任务调整，而非一套固定配置通吃。模型在模态缺失情形下也更为稳健，论文认为学到的关系在模态不可用时提供了补充信息。事后分析进一步显示，学到的图里存在与任务和结局相关的连接模式。
为什么值得看
多模态医疗预测如何显式建模患者间与模态间关系，论文给出可端到端学习、连接更稀疏且更抗缺失的方案。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。