ANCRe：用于高效深度扩展的自适应神经连接重新分配

arXiv:2602.09009v2 公告类型：替换 摘要：扩展网络深度一直是现代基础模型取得成功的核心驱动力之一，但近期研究表明，深层网络往往未得到充分利用。本文从优化角度重新审视加深神经网络的默认机制，即残差连接。严谨分析证明，残差连接的布局能够从根本上影响收敛行为，甚至导致收敛速度出现指数级差距。基于这一洞见，我们提出了自适应神经连接重新分配（ANCRe），这是一种具有理论依据且轻量级的框架，可根据数据对残差连接方式进行参数化和学习。ANCRe能够以可忽略的计算和内存开销（$<1\%$）自适应地重新分配残差连接，同时更有效地利用网络深度。在大型语言模型、扩散模型和深层ResNets的预训练中开展的大量数值测试表明，与传统残差连接相比，该方法能够持续加快收敛、提升性能并增强深度利用效率。