Leto：面向幸存硬件的 LLM 训练快速原位恢复

arXiv:2610.00687v1 公告类型：cross 摘要：硬件可运行故障（HOF）会中断大型语言模型（LLM）训练，但无需重置、维修或更换硬件，即可在同一硬件上恢复。现有恢复系统通常仍需重新加载检查点、重新计算丢失的训练进度并重建进程状态，使原本可以继续训练的 GPU 处于空闲状态。我们提出 Leto，一种容错训练系统，利用幸存硬件实现高效的原位恢复。我们的关键洞见是：恢复训练所需的状态可以在活动训练进程之外保留或准备，同时仍驻留在同一硬件上。Leto 保留工作模型状态和可复用的进程状态，并在影子训练器中预先初始化其余状态。我们设计了两级纠删保护和块级事务更新，以确保保留的模型状态可恢复且保持一致；当活动训练需要 GPU 内存时，则回收影子状态。在 6-GPU 和 72-GPU NVIDIA A100 集群上的评估表明，与性能最佳的检查点基线相比，Leto 的恢复速度提高了 3.6--6.5 倍，并将有效训练时间最多提升 13.7 个百分点。大规模模拟显示，在 131,072-GPU 集群上，有效训练时间超过 95%。