Zephon：面向在线有状态基础模型数据加载流水线的弹性确定性

arXiv:2610.03087v1 公告类型：新 摘要：确定性数据加载对于基础模型开发至关重要：模型研究人员需要确信，他们在代价高昂的消融实验中观察到的差异，是由所改变的参数引起的，而不是由训练数据序列的非确定性造成的。数据加载器必须提供弹性确定性，即尽管不同运行之间的 GPU 拓扑发生变化（例如由于 GPU 稀缺），经历频繁的检查点恢复周期，且采用不同的数据处理执行后端，仍能生成确定性的全局训练数据批次序列。实现这一点十分困难，因为现代基础模型数据流水线会在线执行样本分词、打包和混合，引入有状态的 n 对 m 变换，从而破坏样本索引。现有数据加载器大多假设流水线是可索引的一对一流水线，而常见的离线物化变通方案成本高昂，并且对于视频等某些模态来说不可行。我们提出 Zephon，这是一种面向基础模型的数据加载器，支持在线有状态流水线，同时提供弹性确定性以及从检查点高效恢复的能力。它将全局数据流划分为与拓扑无关的通道，在并行化可互换后端上的无状态工作的同时，对排序决策进行序列化；并且仅对有界的在途状态创建检查点，因此恢复成本不会随着训练进度增长。我们在文本和视觉语言工作负载上对 Zephon 进行了评估，结果表明，在提供现有数据加载器针对在线有状态流水线均无法同时提供的一组保证的同时，Zephon 实现了具有竞争力的吞吐量。