内部优化器如何影响副本扩展

arXiv:2610.19064v1 公告类型：新论文 摘要：在地理位置分散且互联能力较弱的计算资源池或数据中心之间训练大语言模型（LLMs），已成为备受关注的课题。这推动了针对 LLMs 的 DiLoco 等局部优化方法的研究，尤其是采用局部（或内部）自适应优化器或预条件优化器的方法，这类优化器对高性能 LLM 训练至关重要。然而，一个核心挑战依然存在：众所周知，在固定总训练预算的情况下，增加模型副本数量（副本扩展）会导致性能单调下降。现有工作已通过实验证明，内部优化器的选择（Muon 与 AdamW）可以显著改善这一趋势，但对性能差异的解释仍然有限。在本研究中，我们考察了一系列内部优化器，并确定了影响副本扩展的两个重要因素：（1）伪梯度的协方差结构；（2）批大小对伪梯度噪声尺度的影响。基于这些发现，我们从理论和实验两方面证明，基于白化的预条件处理是内部优化器应具备的一项重要特性。我们的实验评估进一步揭示，基于白化的内部优化器在 8 至 96 个副本范围内实现了出色的副本扩展能力，并且随着参数量和数据规模的扩大，其相对于 DP 的性能表现不断改善。