残差流负担塑造 Diffusion Transformers 的表征学习

arXiv:2609.33895v2 公告类型：replace-cross 摘要：在基于扩散的生成中，可以训练神经网络根据带噪输入预测干净数据、噪声或速度。这些预测目标可以相互转换，描述的是同一个生成过程，然而，处理大尺寸像素块的普通 Diffusion Transformers 在预测干净数据时能够成功，在预测噪声或速度时却会失败。我们认为，这种不对称性源于带噪目标要求残差流在逐层传播中保留输入中与噪声相关的变化，以供最终读出使用，从而迫使后续层在带噪表征上进行计算。频谱集中的干净目标对残差流的要求较低，使模型能够更自由地组织隐藏表征，以供后续计算使用。我们将这种保留要求称为“残差流负担”，并展示了它如何塑造 Diffusion Transformers 的表征学习。受控实验表明，可利用的结构是图像块空间中的频谱集中性，而持续保留的残差状态的带宽是带噪预测的一项关键资源。我们进一步表明，这一解释与近期的解耦像素空间架构相一致：这些架构虽然设计各异，却都减轻了主路径上的残差流负担。为了从互补的角度检验这一认识，我们直接扩展并重组残差流带宽，提出了 Spatially Indexed Hyper-Connections（SiHC），在 ImageNet $256^2$ 上取得了 1.71 的 FID。综合来看，这些结果将残差流负担确定为一种机制，预测目标与架构通过这一机制共同塑造 Diffusion Transformers 的表征学习。