信号-噪声因子分解将干扰变化隔离到可移除子空间中

arXiv:2610.00751v1 发布类型：新 摘要：近期理论研究揭示了表征几何的基本性质，这些性质塑造了深度神经网络的推理能力。其中包括信号-噪声因子分解（SNF），即将信号与噪声分离的能力；以及信号-信号因子分解（SSF），即将任务相关信号与任务无关信号分离的能力。在本文中，我们构建了能够在训练过程中强化这两种性质的正则化器。我们在 CIFAR-100 分类任务上，将使用这些正则化器训练的网络与采用 $L_2$ 正则化的基线网络进行比较，以了解我们的正则化器如何塑造表征几何，以及如何影响这一广为人知的计算机视觉基准任务上的性能。通过正则化增强 SNF 可以提升模型性能，但增强 SSF 则不能。受生物医学应用的启发，我们研究了在五种严重程度下使用 MedMNIST-C 腐蚀处理的 BloodMNIST 数据集上的性能表现，并发现使用 SNF 正则化器可以获得更大的性能提升。为理解 SNF 正则化提升性能的机制，我们分析了不同正则化方案下的干扰子空间，发现经过 SNF 正则化的模型会在不同的子空间中表示噪声，使其与类别相关信号分离。由于这种几何结构是显式的，因此可以利用留出数据估计由腐蚀引起的主导方向，并将其从表征中投影移除。这一操作带来了显著的准确率提升。这些结果表明，强制实现信号-噪声因子分解的正则化器能够在推理时包含分布外图像失真的计算机视觉任务上带来显著改进。研究结果还凸显了塑造表征对模型性能的影响：将干扰变量与类别变量隔离，比保持类别变量表征的因子化更为重要。