dattri-LLM：用于在 LLM 规模上训练数据归因的统一高效库

arXiv:2609.38767v2 公告类型：替换 摘要：训练数据归因（TDA）用于估计单个训练样本对模型输出的贡献。大多数可扩展的 TDA 方法依赖逐样本梯度，而在 LLM 规模下计算和使用此类梯度，会在效率、兼容性和可扩展性方面带来挑战。我们推出 dattri-LLM，这是一个让基于梯度的归因在大规模场景下更具实用性的 TDA 库。在效率方面，dattri-LLM 使用紧凑的梯度表示，并根据成本模型动态路由梯度操作。在兼容性方面，其捕获机制能够从调用 backward() 的现有训练循环中收集逐样本梯度，而无需修改训练循环或其配置。这包括使用 DDP 和 FSDP 的分布式训练，以及基于 HuggingFace Transformers、TRL 和 OLMo 构建的训练流程。在可扩展性方面，dattri-LLM 提供可复用的梯度操作和训练时回调函数，用于实现归因方法和应用。这些接口支持多种归因方法，包括梯度相似度、基于曲率的影响力分析和基于轨迹的方法，以及在训练期间对梯度执行操作的应用，例如在线数据选择。在相同硬件和工作负载下，dattri-LLM 的吞吐量平均达到最快竞争库的 3.2 倍；它能够将多种归因方法扩展到 4 个 H200 GPU 上的 110B 参数模型，并在不同模型系列和规模的一系列模型中实现更优的归因保真度与成本权衡。dattri-LLM 的源代码位于 https://github.com/TRAIS-Lab/dattri-llm。