缩小上下文差距：面向表格上下文学习的激活对齐

表格基础模型通过以上下文形式提供的带标签训练示例为条件进行上下文学习（ICL）。不同于将训练与推理解耦的传统模型，这些模型必须在每次前向传播中处理所有训练示例，因此每次预测的成本都很高。限制训练示例的数量可以降低成本，但会显著降低性能。我们不丢弃上下文，而是提出激活对齐方法，利用完整上下文教会模型在只能看到部分上下文时应如何运行。具体而言，该方法在合成无标签数据上训练一个轻量级线性变换，将受数据约束的“学生模型”（使用部分上下文）的中间激活映射到完整上下文“教师模型”（使用全部数据）的中间激活。对齐器的训练无需 GPU，在普通硬件上只需几秒到几分钟即可收敛。我们使用领先的两个表格基础模型 TabPFN-3 和 TabFM，在 TabArena 基准中的 38 个分类数据集上进行了评估。在所有上下文预算下，对于这两个模型，对齐后的学生模型相较于未对齐基线均取得了广泛且具有统计显著性的提升。在低数据量场景中，对齐方法恢复了教师模型预测优势的近一半。该方法以较低开销实现了紧凑上下文所带来的推理速度，同时弥合了与完整上下文教师模型之间相当一部分的性能差距，具有实用价值。