信号有多深？基层医疗 EHR 模型中用于结直肠癌预测的长达 30 年的时间上下文

arXiv:2611.07265v1 公告类型：新提交 摘要：EHR 基础模型在固定的上下文窗口内读取医疗事件，而迄今为止，长上下文仅以词元数量衡量。模型必须回溯多长时间才能捕捉到最早的预测信号，目前尚不清楚。我们引入了时间上下文，即预测时间点之前按日历时间计算的回溯窗口，并据我们所知，首次对 EHR 基础模型的十年尺度时间上下文进行了系统评估。我们使用伦敦西北部 360 万名基层医疗患者的 14 亿条编码事件，预训练了一个仅含解码器的 Transformer（3460 万个参数），并在设置诊断前 12 个月缓冲期的条件下对其进行微调，以预测新发结直肠癌。我们在一个固定队列中，使用 15 个从 2 年至 30 年的嵌套回溯窗口进行评估；该队列包含 1,008 名病例和 9,582 名匹配对照，所有人的注册时间均至少为 30 年，因此每种截断方式都在同一批患者中进行比较。区分能力的 AUROC 从 2 年窗口下的 0.551 上升至 18 年窗口下的 0.590，随后趋于平台，其中约 80% 的提升在 10 年窗口内实现；XGBoost 基线模型也收敛至相同水平（AUROC 峰值为 0.589）。模拟进一步表明，在默认基频下，针对经过时间的旋转位置嵌入（RoPE）在超过约 20 年后会出现混叠，因此有必要重新调整 $\theta$。时间上下文是临床预测模型中一个可测量的设计维度，与词元上下文不同，应予以报告。