可扩展预训练与持续学习的嵌套稀疏性

arXiv:2610.31818v1 公告类型：新 摘要：混合专家（Mixture-of-experts，MoE）Transformer 是现代大规模深度学习的标准骨干网络，采用条件计算：每次前向传播只使用模型权重中的一个稀疏子集。在 MoE Transformer 中，这种稀疏性源于 MoE 算子，该算子将经典 Transformer 中的多层感知器进行了泛化。在本文中，我们探索了一种用于条件计算的替代机制，该机制以类似的方式对注意力算子进行泛化。该机制诱导出的稀疏性能够与 MoE 算子诱导出的稀疏性自然嵌套（即分层组合）。我们表明，在语言模型预训练中，采用这种嵌套稀疏机制的 Transformer——我们称之为 Nestor——在计算量和稀疏程度相同的情况下，性能优于传统 MoE Transformer。我们还表明，Nestor 非常适合持续预训练：与传统 MoE 相比，它能够更有效地适应更长的上下文，也能更高效地适应新领域，同时更少遗忘旧领域的知识。此外，我们证明，随着模型规模、数据集规模和上下文长度的增长，这些优势依然存在。我们的结果展示了用于深度神经网络架构的替代性条件计算机制的潜力。代码和检查点可在 GitHub 获取：https://github.com/Ma-Lab-Berkeley/Nestor】【。