借助 JEPAs 证明并改进 Platonic Representation Hypothesis

不同模态训练的模型是否会收敛到对世界的同一种表示，是 AI 的核心问题。Platonic Representation Hypothesis 猜想，随着模型规模扩大，它们确实会如此；但由于缺乏证明，该假说既无法提供保证，也没有给出实现路径。我们将这一假说转化为一个定理。首先，我们证明了一个 Platonic Representation Theorem：分别在任意数量的模态上训练的 Joint-Embedding Predictive Architectures (JEPAs)，只要其正样本对是同一场景的两种观测——即“良好视图”——并且在其他情况下其错位程度有界，就能学到除一个旋转变换外相同的表示。其次，我们表明，下一个词元预测是一种具有“糟糕视图”的 JEPA；这些视图是同一文档的不同部分。这解释了为什么语言模型只有通过扩大规模，才能与视觉实现对齐。第三，我们从 145k 条描述扩展到 940M 张网页图像的文本，对该理论进行了验证，并发现了一条能够在随机种子噪声范围内预测未见训练结果的对齐缩放定律。在相同语料上，要达到相同的对齐程度，“良好视图”所需的训练样本数仅为下一个词元预测的 1/42；一个拥有 109M 参数的文本 JEPA，与 DINOv2 和 CLIP 的图像编码器的对齐效果优于我们评估的所有语言模型（包括参数量达 72B 的模型），也优于 CLIP 的文本编码器：下一个词元预测是通往柏拉图式表示的一条极其低效的路径。作为展示案例，只需一个旋转变换，就能将分别训练的编码器转变为图像描述器（在 COCO 上 CIDEr 达到 .838）。即使这一旋转变换也不需要配对数据：在最新的无配对基准上，我们的文本 JEPA 击败了所有已报告的、参数量不超过 8B 的语言模型零样本准确率；例如，在 ImageNet-100 上达到 64%，而此前最高的 top-5 准确率至多为 56%。因此，构建柏拉图式表示的关键杠杆是正视图，而不只是模型规模。