不让任何通道掉队：通过残差门理解扩散模型加速

arXiv:2610.40914v1 公告类型：新论文 摘要：REPA 和分散正则化等扩散 Transformer 训练加速方法，通常被解释为引入了额外监督、空间结构先验，或改善了特征几何结构。我们重新审视这一观点，并揭示了一项显著的内部变化：直接控制条件化更新如何进入残差流的 AdaLN-Zero 残差门 $\alpha$，在这些方法的作用下发生了大幅重组。这一观察促使我们提出假设：加速至少部分源于残差门控路径的重塑，而非仅仅源于辅助目标显式施加的特征结构。支持这一观点的证据是，加速模型对 $\alpha$ 的扰动明显更敏感，且其门控几何结构反映了类别之间的语义关系。我们进一步引入归一化参与率（nPR）来刻画门控的通道级组织方式，并发现，在不同的 REPA 教师模型、投影器架构和径向目标设定下，更广泛的门控参与均伴随着更好的生成质量。基于这一洞见，我们提出了一种简单的无教师径向目标，通过特征范数正则化促进更广泛的门控参与，而无需进行成对特征比较。在 ImageNet $256\times256$ 上使用 SiT-B/2 时，与分散损失相比，我们的方法改善了 FID，同时提高了跨时间步和类别的平均门控参与率，进一步支持了门控组织方式与训练加速之间的联系。我们的结果表明，残差门重组是衡量扩散模型训练加速的一个可测维度，并为进一步加速指明了一个简单方向。