ViSTA适配器让多模态大模型理解临床时序数据
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把数值测量接进视觉模型
ViSTA 的做法是在一个已经训练好的视觉语言模型上，加装一个体量很小的适配器。临床场景里大量信息来自不规则的数值测量，比如随时间采集的化验与体征，这些数据本身并不是图像，但模型内部对图表的表示方式可以被借用。ViSTA 的思路就是让这些数值测量进入模型原有的图表表示通道，通过学习对视觉 token 的修正量来完成适配，而预训练阶段得到的全部参数保持不动。也就是说，模型不需要被重新训练，只需要在视觉 token 这一层做小幅调整，就能把结构化、高维的临床时间序列纳入进来。这种设计把改动集中在很小的范围内，既保留了预训练模型原有的语言与视觉能力，又补上了从数值序列做预测的短板。
参数量与预测成绩
在 MIMIC-IV 上，ViSTA 在急性肾损伤与死亡率预测这两项任务上，对四个指标都取得了所比较的各类适配方案里最高的平均分，覆盖的模型规模从 20 亿到 90 亿参数。其中可训练参数只有 51.6 万，20 亿参数的模型在急性肾损伤上达到 0.7376 的 ROC 曲线下面积；作为对照，GPT-5.6 Sol 在文本输入并投入较高推理强度时，这一数值为 0.7380。也就是说，一个体量小得多的模型在只训练极少参数的情况下，逼近了以文本方式输入、推理开销更大的方案。这里的关键在于，ViSTA 训练的是对视觉 token 的修正，而不是去改动整个模型，因此可训练参数的数量被压得很低。
时序问答与参数效率
在时间序列问答任务上，经过训练后，40 亿参数的模型取得 69.27% 的准确率。与使用图表或数值文本的低秩适配方案相比，ViSTA 的可训练参数少了九成以上，准确率差距在 2.82 到 4.88 个百分点之间。这说明把数值测量接入视觉表示这条路，在问答场景下也能用更少的可训练参数换来接近的表现。适用范围上，材料给出的是临床时间序列理解，包括急性肾损伤、死亡率预测以及围绕患者病情变化的时间序列问答；限制在于，这些结果来自 MIMIC-IV 这一数据集，且适配器本身依赖预训练视觉语言模型已有的图表表示能力。对读者而言，这意味着临床风险估计与围绕病情的灵活提问，有可能在同一个模型里被衔接起来，而不必为数值预测单独维护一套预测模型。
为什么值得看
以极低微调参数量让开源大模型在临床预测上逼近顶级闭源模型，显著降低医疗时序数据建模门槛。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。