用于训练数据归因的张量网络数据模型

数据模型可以预测当纳入或移除训练数据的不同部分时，模型行为会如何变化。然而，线性数据模型为训练单元分配固定贡献，无法表示非加性的联合效应。我们提出张量网络数据模型（Tensor Network Datamodels，TNDMs），利用低秩张量网络对训练单元之间的依赖关系进行建模，同时保持表示的紧凑性。TNDMs 学习从训练数据子集到在这些子集上训练所得结果的映射，从而能够表示多个训练单元之间的交互作用。我们证明，互补和冗余的训练组可以诱导出具有紧凑低秩表示的高阶子集函数。随后，单个拟合好的 TNDM 可用于回答多个训练数据问题，包括预测移除数据的影响、衡量单个训练单元的重要性、识别训练单元之间的交互作用，以及选择有用的训练数据子集。我们在专门设计用于包含强交互作用的受控任务上，以及分类和推理的标准微调设置中评估了 TNDMs。在一项受控推理任务中，TNDMs 仅观测数量为基线一半的训练子集，却优于所有基线；在观测约占全部可能训练子集 $0.0061\%$ 的数据后，相较于线性数据模型，TNDM-TT 将预测 NMSE 降低了 $89\%$。在事实关联微调中，单个 TNDM-CP 将留出集上的 $\mathrm{R}^2$ 从线性数据模型的 $0.579$ 提升至 $0.668$。这些结果表明，当训练数据的影响取决于训练组的组合时，紧凑的低秩模型能够提升预测性能。