MLP 能否精确吸收自身的跳跃连接？
Can an MLP Absorb Its Own Skip Connection Exactly?
精选理由
揭示残差连接具有不可替代的表达能力，说明同宽普通 MLP 无法精确复现其函数。
AI 摘要
arXiv:2604.23705v2 公告类型：替换 摘要：通常归因于跳跃连接的益处来自优化理论层面：更平滑的损失景观和更好的梯度传播。我们转而提出一个关于表示能力的问题：给定一个残差块 x -> x + MLP(x)，相同宽度的无残差 MLP 能否计算出相同的函数？对于当前前沿语言模型中使用的每一种激活函数（ReLU^2、ReGLU、SwiGLU、GeGLU），答案都是否定的，且这一结论无条件成立，适用于任意深度。对于无门控的 ReLU 和 GELU，吸收是可能的，但仅限于一个测度为零的权重集合。因此，这两类模型所表示的函数族在一般情形下互不相交：移除跳跃连接后重新训练，无法在相同宽度下恢复完全相同的函数。