LeVJEPA：无需启发式技巧的高效且可扩展的视频预训练

视频承载着物理世界的时间结构，但从中学习表征一直计算代价高昂：当前主流的自监督方法要么通过结构上的不对称性，结合指数移动平均目标编码器、停止梯度和容量受限的预测器来防止表征坍塌，要么通过在像素空间重建被遮蔽的内容来规避这一问题。我们提出 LeVJEPA，这是首个在 LeJEPA 的无坍塌目标下训练的视频编码器，同时摆脱了这两种做法。我们使用一个单一编码器，在一个视频片段的全局视图和局部视图上以不变性损失进行训练，并用 SIGReg 进行正则化，后者通过可证明的保证排除了坍塌。该架构简化为一个编码器和一个投影器，目标函数也只需一个超参数。该形式带来两个性质。首先，预训练成本由编码器所观察到的 token 数量决定；对 token 进行均匀随机丢弃会使这一数量变小，同时还能提升下游精度。在相同数据上、相同 epoch 数下，LeVJEPA 在 ViT-S/B/L 上以低 5.6 倍至 20.8 倍的预训练计算量达到或超过 V-JEPA 2，并且在总 FLOPs 相当时，其结果比最强的视频基线高出 7.6 个百分点，达到 ImageNet-1K，同时在以运动为中心的基准上保持竞争力。其次，由于分支之间不需要不对称性，编码器可以使用块因果注意力训练而不会带来可测的精度损失：时间顺序成为编码器自身的属性。与在同一批视频帧上训练、且计算量相当的 DINOv2 相比，LeVJEPA 在以外观为中心的评估上接近图像预训练编码器，同时以运动为中心的准确率几乎翻倍。这些结果表明，一旦去除其计算开销，视频就成为一种可行的、在若干方面甚至更优的通用视觉预训练载体。