白化颠倒了层级：白化嵌入的范数衡量什么

将基础模型嵌入进行白化，并将其平方范数用作一种无需训练的似然替代指标，其动机在于观察到白化后的坐标通常近似服从标准正态分布。我们证明，这一现象源于投影中心极限定理，因此并不意味着这些坐标的联合分布是高斯分布。在多个编码器和三种训练目标下，我们发现白化半径相对于高斯基准存在系统性过度离散；即使与均值和协方差完全相同的分布克隆相比，也同样如此。我们进一步表明，经验范数统计量与理论范数统计量之间通常所报告的一致性，是样本内白化在代数上的必然结果，并不能作为高斯性的证据。 我们找到了这一行为背后的机制：白化反转了编码器的谱层级，使平方范数的贡献转向近退化方向，而这些方向编码的主要是噪声。在这些方向上，主导变异由单一的、依赖于输入的尺度控制。我们利用两个矩估计这一尺度，并据此在不引入额外自由参数的情况下，预测不相交频谱两半之间的交叉依赖性。这些结果表明，与其将白化后平方范数视为对数似然，不如将其解释为衡量语义异常性的马氏度量。这一解释同时说明了它在实践中的有效性及其校准失败的原因：该统计量能够与非参数密度估计保持一致地对异常样本进行排序和检测，并且在采用不同训练目标训练的编码器之间也具有一致性；然而，高斯尾部阈值可能会产生相差数个数量级的误差，等等。