通过内容不变的梯度归因实现稳健的 LLM 数据选择

基于梯度的数据归因已成为大型语言模型（LLM）指令微调中进行高质量数据选择的重要工具，因为它通过估计训练样本对模型优化的影响来评估其贡献。然而，我们发现，现有的全局梯度归因方法存在表面形式偏差：即使底层内容保持不变，对语义无关的细节（如措辞或格式）进行微小改动，也可能产生高度不一致的归因分数。为解决这一问题，我们提出了 Content-Invariant Gradient Attribution（CIGA），一种用于指令数据选择的稳健框架。CIGA 首先识别出这样的层：其梯度既对归因具有重要影响，又能在保持语义的表面形式扰动下保持稳定，从而减少梯度特征中的格式噪声。随后，它将这些归因信号与输入的语义表示进行动态融合，把优化层面的影响与内容层面的信息结合起来。在多个基准上的大量实验表明，在表面形式扰动下，CIGA 能够生成更加稳定的排序，同时保持下游能力并提升平均性能。此外，CIGA 还能降低归因成本，为 LLM 指令微调中的数据选择提供一种稳健且高效的方法。