面向可扩展潜在词元化的生成式表征学习

arXiv:2610.20533v1 公告类型：新论文 摘要：我们提出了一种自监督表征学习方法，旨在用作生成式建模的词元化器。我们的目标函数通过分解数据的逐点互信息来监督表征损失，而逐点互信息则通过计算已学习的生成模型所给出的条件预测之间的信息差来估计。我们从理论和实证两方面论证了该算法的合理性，表明在 DINO 和 LeJEPA 等常用方法失效的情况下，我们的生成式表征学习方法能够避免维度坍缩和特征抑制。此外，我们证明了该表征学习技术具有可扩展性：投入更多计算量能够带来可预测的潜在词元化质量提升。我们首次对词元化器与生成模型的总体浮点运算效率进行了细致分析，并证明，在像素空间生成任务中，与直接扩散相比，我们的方法在计算最优意义上实现了改进，使用 JiT-L 达到了 2.18 的 FID-50K。在 ImageNet 和文生图数据集 GPIC 上，我们展示了词元化器编码器在扩散适用性方面的缩放定律；外推结果表明，我们的方法在 ImageNet 上仅需 DINOv2 的 1/7 浮点运算量、在 GPIC 上仅需 WebSSL 的 1/8 浮点运算量，即可获得相应表征。