FastCI：面向 LLM 训练框架的高效 GPU 密集型 CI

arXiv:2610.01967v1 公告类型：新 摘要：随着大型语言模型（LLM）的规模和复杂性不断增长，其训练框架也在快速演进。因此，持续集成（CI）对于维护这些框架的质量和稳定性至关重要。然而，与传统软件不同，LLM 训练框架的 CI 依赖 GPU 密集型测试，而这类测试通常涉及完整的模型训练或评估。这使得 CI 本身成为快速开发的新瓶颈。本文介绍了 FastCI，一种提升 LLM 训练框架 CI 效率的框架。FastCI 利用运行时证据选择受影响的测试，并剪除那些在等价上下文中执行变更代码的测试。随后，FastCI 优先执行高风险测试，以便更早发现潜在故障，并从每个测试预期验证范围之外的维度优化测试工作负载。在我们的 LLM 训练框架 CI 工作负载上的评估表明，与当前部署的 CI 流水线相比，FastCI 将 CI 延迟降低了 77.5%，将 GPU 资源使用量降低了 63.9%，同时使修改代码覆盖率的保留率提高了 3.2%。目前，FastCI 已集成到 ByteDance 的 LLM 训练框架 CI 流水线中。