LocaLeJEPA：几何先验下的最大熵表示

arXiv:2610.28458v1 发布类型：新 摘要：联合嵌入预测架构（JEPA）为自监督学习提供了一种颇具吸引力的方法，但通常容易出现表示坍塌。LeJEPA 通过引入一种具有理论依据的分布匹配目标来解决这一问题，推动嵌入趋向各向同性高斯分布。然而，这种方法从根本上依赖于欧几里得假设，其全局目标无法反映特定领域的几何先验，例如使用非欧几里得嵌入几何的模型，如等变 CNN 或双曲 ViT。因此，我们提出了 LocaLeJEPA，这是一种受 LeJEPA 熵最大化性质的流形理论重构启发的框架。与之配套的 LocaLeReg 是一种新颖的局部欧几里得分布匹配正则化器，能够稳定且可扩展地实现 LocaLeJEPA 框架。随后，我们在视觉领域开展了广泛实验，使用在 ImageNet-1K 上训练的模型。与双曲 ViT-S/8 和等变 ResNet-50 骨干网络，以及普通欧几里得 ViT-S/8 和 ViT-L/14 骨干网络结合时，LocaLeJEPA 的表现均显著优于 LeJEPA。在 ImageNet 上的线性分类和 k-NN 分类性能，以及一系列经过测试的下游任务中，均是如此。我们认为，LocaLeJEPA 形式化为 JEPA 范式提供了一种有原则的方法，既能更好地遵循数据的内在几何结构，也能适应向新颖嵌入几何的推广。代码见 https://github.com/alessioborgi/LocaLeJEPA。