预训练塑造谱结构：基础模型中架构与策略条件下的 OOD 鲁棒性预测

arXiv:2610.09709v1 公告类型：新 摘要：在任何目标数据可用之前，我们能否确定一个基础模型是否会在分布外（OOD）泛化？现有诊断方法需要源数据或目标数据，因此在目标域尚不存在时便无法使用。那些仅使用权重的方法则对所有架构采用同一种统计量，也无法区分鲁棒模型与脆弱模型。我们表明，答案编码在预训练权重的谱结构中。有两种力量塑造这种结构。架构决定信息如何存储在权重矩阵中；预训练策略决定模型受到何种奖励。二者共同设定了一种支配 OOD 鲁棒性的谱几何。我们证明，OOD 准确率差距受源表示集中程度的紧密性所约束。仅根据预训练权重计算的一个统计量，可以作为这种集中程度的代理指标。该代理指标的方向在不同架构族之间会发生反转。我们将其付诸实践：在我们测试的最细粒度分组——一个（架构 × 策略）组合——内部，该方向是稳定的，我们将其称为一个单元（cell）。在涵盖 7 种模态的 116 个模型上进行汇总后，单一统计量对 OOD 鲁棒性的排序能力较弱，因为方向相反的单元相互抵消。在一个单元内部，为该单元选定的统计量能够在样本内按照 OOD 鲁棒性对 92% 的模型对进行排序。该选择不会泄露目标信息：对于矩阵之外的每个模型族，我们都在运行其 OOD 评估之前记录了单元、指标及符号，而且预测方向在每种情况下都成立：EEG、基因组和蛋白质。针对谱集中程度进行调整后，在保持 87.5% ID 性能的情况下，OOD 差距缩小了 24%。该诊断仅对已发布的权重进行操作，因此无需向目标域投入数据或计算资源，就能在模型选择阶段检查 OOD 鲁棒性。