EHRAdapt：利用语义先验将预训练语言模型适配到电子健康记录以处理罕见临床事件

电子健康记录（EHR）将临床病史编码为（时间、模态、代码）元组，而预训练语言模型期望输入文本 token。将其序列化为文本会膨胀序列长度，并冗余地编码结构。我们提出 EHRAdapt，这是一种适配器，可将元组直接映射到冻结语言模型的嵌入空间中。模态使用学习得到的嵌入，时间间隔通过学习得到的注意力偏置引入，事件代码则使用专用向量。学习事件向量是核心挑战：临床词表呈长尾分布，罕见事件的观测数量过少，难以得到可靠估计。因此，EHRAdapt 将每个事件向量表示为语义先验与证据残差之和。该先验是事件临床描述的冻结嵌入，由一个在临床本体上训练的生物医学语言模型生成，并通过共享的学习投影映射到模型输入空间，因此即使观测稀少也能提供临床含义。残差是一种学习得到的低秩事件特异性校正，会随着证据积累对其进行细化。我们在约 400 万名患者的记录上，使用三个冻结的 LLM 骨干（OLMo2 1B、Llama3.2 1B 和 OLMo2 7B）进行持续预训练，仅训练适配器（占全部参数的 0.1--0.6%）。在每个骨干上的留出集下一事件预测中，完整适配器都优于所有消融版本。移除语义路径对罕见事件的损害比对最高频事件的损害大十倍以上，而移除残差会损害总体预测，但会提升最罕见事件的预测效果。在法定报告传染病和症候群下游分类任务中，EHRAdapt 优于基于文本的 LLM 和基于计数的基线，并且两条路径都能改善罕见疾病判别。因此，这两条路径发挥互补作用，只有按事件频率而非取平均来拆分结果时，这种作用才清晰可见。