频谱并不足够：关于差分隐私学习中无数据预条件的随机矩阵解释

arXiv:2610.21312v1 公告类型：new 摘要：无数据预条件使用合成探针而非私有数据来构建 KFAC 的 Kronecker 因子。DP-KFC 通过匹配私有因子的特征值衰减来验证探针；我们将这一准则转化为随机矩阵视角，用以解释探针能够重构什么。一个二分法贯穿始终：在因式分解 $ A \otimes G $ 中，误差信号因子 $ G $ 以及由架构决定的激活因子 $ A $ 的主体部分可以在无数据的情况下重构，而 $ A $ 中只有由数据诱导的尖峰无法重构。我们证明，$ G $ 部分对数据不敏感，其误差受一个明确的误差能量界约束；在涵盖四种模态和一个自然图像基准的完整训练轨迹中，未发现任何违反情况。我们将失效边界定位在 Baik-Ben Arous-P\'ech\'e 阈值：对于由主体部分构成的探针，一个数据诱导的尖峰会造成精确损失 $s^2/(1-s^2)$；当其超过 $(d/n)^{1/4}$ 后，该尖峰便会变得不可见，这一点在注入尖峰的替代实验中得到了验证。在固定探针频谱、仅改变其特征基的情况下，我们表明，频谱形状匹配既不充分，也不是真正起作用的对象：即使探针具有近乎精确匹配的频谱（对数比离散度为 $0.02$），当其特征向量为随机时，残差仍会膨胀 $2 \times$–$90 \times$。一个闭式白化体积定律解释了这一现象，并预测了临界体积在同一频谱内的排序，但无法预测其跨数据集的量级。进一步地，逐层调优无法迁移到准确率上，而可提升空间只是一个很小的 oracle-minus-white 差距。在隐私机制下，源排序仍然保持，学习过程也是如此；随后在噪声交叉点处发生反转，此时平坦探针超过了匹配探针。