EHRAdapt适配器将电子病历直接映射至冻结大模型嵌入空间
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把元组直接映射进嵌入空间
电子健康记录把临床历史组织成时间、模态与代码构成的三元组，而预训练语言模型接收的是文本词元。把这类记录序列化成文本，会让序列变长，也会把原本的结构重复编码一遍。EHRAdapt 的做法是绕开文本化这一步，用一个适配器把三元组直接映射到冻结语言模型的嵌入空间里。其中模态对应一个可学习的嵌入，时间间隔通过可学习的注意力偏置进入模型，事件代码则各自拥有专门的向量。这样模型不必再从文本里反推结构，序列长度和冗余编码的问题同时得到缓解。适配器是唯一被训练的部分，语言模型主干保持冻结。
语义先验加证据残差
学习事件向量是这套方案的核心难点。临床词表呈长尾分布，罕见事件留下的观测太少，难以得到可靠的向量估计。EHRAdapt 因此把每个事件向量拆成两部分相加：一部分是语义先验，另一部分是证据残差。先验来自一个在临床本体上训练的生物医学语言模型，取该事件临床描述的冻结嵌入，再经由一个共享的可学习投影映射到目标模型的输入空间，因此即便观测稀少，事件仍带有临床含义。残差则是针对单个事件的可学习低秩修正，随着证据积累对先验进行细化。两条路径分工不同，只有在按事件频率拆分结果时才看得出来。
训练规模与主干选择
研究在约四百万名患者的记录上做继续预训练，使用三个冻结的语言模型主干，分别是 OLMo2 1B、Llama3.2 1B 和 OLMo2 7B，训练时只更新适配器。在留出的下一事件预测任务上，完整适配器在每一个主干上都优于各项消融设置。去掉语义路径对罕见事件的损害，比对其余最常见事件的影响高出十倍以上；去掉残差则会拖累整体预测，却让最罕见的那部分事件表现变好。这说明先验与残差并非简单叠加，而是各自覆盖不同的频率区间。
下游任务与适用边界
在需上报的传染病分类与症候群分类这两类下游任务上，EHRAdapt 的表现优于基于文本的语言模型方案和基于计数的基线，两条路径都对罕见疾病的区分能力有提升。从适用范围看，这套方法面向的是以三元组形式存储的临床记录，依赖已有的临床本体描述来构造语义先验，并且需要冻结的语言模型主干作为映射目标；它的收益主要体现在长尾事件上，若只看总体平均指标，两条路径的互补作用会被掩盖。对使用方而言，这意味着评估此类适配方案时，按事件频率分层查看结果比只看一个总分更有意义。
为什么值得看
以极低参数开销解决大模型处理EHR的结构冗余与罕见事件欠拟合，双通路互补机制对罕见病识别极具实用价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。