ResNets 会路由吗？残差网络中的稀疏交互专家

arXiv:2610.02907v1 公布类型：新 摘要：残差网络会对每个输入执行每一个模块，但这些模块在功能上的贡献未必与输入无关。我们将一个训练好的 ResNet 表述为关于二值残差分支掩码的集合函数，并应用 Möbius 反演，将其输出精确分解为单独的残差修正项和高阶交互项。对于平滑的残差堆叠，我们证明，在残差缩放下，每个固定的 $k$ 路交互项都按 $\mathcal{O}(\lambda^k)$ 缩放。对 ImageNet 预训练的 ResNet-18 和 ResNet-34 进行穷举分析后发现，交互量的峰值分别出现在五阶和十阶，而不是低阶。减小残差尺度会使两种谱都向低阶移动，但也会改变模型的预测结果。交互系数在幅值上高度集中，但并非严格稀疏；并且，保持预测不变的稀疏性会随着深度增加而减弱。关键在于，主导交互会围绕一个共享的全局核心，随输入和预测类别而变化，而其总体复杂度几乎不随样本难度改变。这些结果表明，稠密 ResNets 实现了一种隐式的软路由：每个模块都会执行，但不同输入依赖于不同的残差交互专家。因此，路由可以在功能贡献层面涌现，而无需显式路由器或稀疏执行。