信号藏得有多深？基层医疗 EHR 模型中用于结直肠癌预测的长达 30 年的时间上下文

EHR 基础模型在固定的上下文窗口内读取医疗事件，而迄今为止，长上下文仅以 token 数量衡量。模型必须回溯多长时间才能捕捉到最早的预测信号，目前尚不清楚。我们引入了时间上下文这一概念，即预测时间点之前按日历时间定义的回溯窗口，并据我们所知，首次对 EHR 基础模型的十年尺度时间上下文进行了系统评估。我们使用来自伦敦西北部 360 万名基层医疗患者的 14 亿条编码事件，预训练了一个仅含解码器的 Transformer（3,460 万个参数），并在诊断前留出 12 个月缓冲期的条件下，对其进行微调以预测新发结直肠癌。我们在一个固定队列上，采用从 2 年到 30 年的 15 个嵌套回溯窗口进行评估；该队列包含 1,008 名病例和 9,582 名匹配对照，所有患者的登记时长均至少为 30 年，从而确保每种截断设置都在同一组患者中进行比较。区分能力的 AUROC 从 2 年窗口下的 0.551 上升至 18 年窗口下的 0.590，随后趋于平台，其中约 80% 的提升在 10 年内实现；XGBoost 基线模型也收敛至相同水平（峰值 AUROC 为 0.589）。一项模拟进一步表明，在默认基频下，基于经过时间的旋转位置嵌入（RoPE）在超过约 20 年后会出现混叠，因此有必要重新调整 $θ$。时间上下文是临床预测模型中一个可量化的设计维度，不同于 token 上下文，应予以报告。