共享高斯化：高斯正则化器能为对比学习提供哪些保证，又遗漏了什么

arXiv:2610.10299v1 公告类型：新提交 摘要：LeJEPA 中的 SIGReg 这类分布匹配正则化器能为对比学习提供哪些保证？我们研究共享高斯化（SG）：对两个归一化视图的均值乘以一个独立的 $\chi_d$ 半径后，进行基于特征函数的高斯性检验。由于不一致的视图会缩短均值向量，一项检验便能同时检测未对齐和非均匀性。SG 恰好在总体 InfoNCE 的对齐且均匀的极小点处为零；在边缘分布相同的条件下，它将 InfoNCE 的超额损失上界限定为 SG 损失的平方根乘以 $4\cdot 3^{3/4}\beta$，再加上一个关于该损失的线性项。平方根阶和这一与维度无关的常数都是最优的，且视图对上的任何平方均值嵌入距离都无法达到更快的阶。加入显式对齐项后，旋转不变的均匀性检验能给出线性上界，当且仅当其谱支配 InfoNCE 核 $e^{\beta u^\top v}$ 的谱；SG 自身的检验满足这一条件，高斯核 $e^{-\gamma \|u-v\|^2}$ 恰好在 $\gamma \ge \beta/2$ 时满足，而矩匹配则始终无法满足。在远离最优点时，这些目标函数表现不同。沿着各向同性的干扰通道，只要共享编码不均匀，纯 SG 就会通过添加各视图特有的干扰来降低损失。高于该通道增益的对齐权重会使无干扰解成为严格局部极小点；对于 LeJEPA，同一规则给出了一个随批大小增大而减小的临界 SIGReg 权重。在有限批大小下，非对角 U 统计量可消除偏向未对齐状态的代入估计偏差。在受控潜变量模型中，纯 SG 会保留各视图特有的风格，高于实测增益的对齐权重则会消除这些风格；对于三种批大小下的 LeJEPA，实测增益能够区分保留风格的编码器与不保留风格的编码器。与从头进行 SG$_{0.2}$ 训练相比，InfoNCE 训练还达到了更低的 SG$_{0.2}$ 损失，这表明存在优化差距。