驱动与衰减：论联合嵌入预测架构的训练动力学

arXiv:2610.02344v1 公告类型：新论文 摘要：联合嵌入预测架构（JEPAs）容易出现表征坍塌，通常通过经验性启发式方法加以缓解。我们提出了一套训练早期稳定性理论，将这些启发式方法统一起来。在平凡不动点附近对耦合的 JEPA 梯度流进行线性化，揭示了两种相互竞争的效应：驱动力（$\gamma$）和衰减效应（$\sigma$）。在近似谱解耦条件下，各模态的稳定性比率 $\mu_i = \gamma_i / \sigma_i$ 可分解为相互独立的数据侧项与预测器侧项，而不稳定模态的数量则对应于可形成表征的秩。该框架预测了一条相边界，我们通过涵盖 800 多种 Tabular-JEPA 配置的实验验证了这一预测。它还将预测器缩放、掩码比例和 EMA 统一解释为调节 $\mu$ 的不同机制。在这一分析的指导下，我们提出了 ResidualPred，这是一种在初始化时将注意力偏向恒等映射的 transformer 预测器；它在表格数据基准测试以及 CIFAR-10、CIFAR-100、STL-10 和 ImageNet 上的 I-JEPA 预训练中，均提升了有效秩和下游任务准确率。我们的框架将避免坍塌的经验性启发式方法与明确的动力学图景联系起来，从而得到了理论驱动的稳定化方法。代码见 https://github.com/jose-melo/drive-vs-decay。