影响力是目标-响应雅可比乘以残差

arXiv:2610.27689v1 发布类型：新 摘要：我们引入目标-响应雅可比矩阵 $J = [\partial \hat y_i/\partial y_j]$，用于衡量模型预测对单个训练目标变化的响应。$J$ 可补充训练数据归因（TDA）方法：后者刻画的是损失中赋予训练观测的权重的敏感性，而不是模型对训练目标的敏感性；并且，$J$ 可以无矩阵方式计算，计算成本与基于影响力的 TDA 方法相同。我们证明，样本权重影响力 $\mathcal{I}$ 和 $J$ 源自同一个隐式微分论证，二者仅相差一个逐样本乘数：对于逐点损失，在 Hessian 可逆的任意驻点处，$\mathcal{I} = J\operatorname{diag}(m)$ 严格成立。对于典型链接函数损失（平方误差、逻辑损失、Poisson），该乘数就是训练残差，即 $\mathcal{I} = J\operatorname{diag}(r)$；softmax 交叉熵则满足相应的多分类形式。该恒等式预示了用影响力替代 $J$ 时会出现的三种失效方式：较小的残差会将其预测的偏移压缩至零附近（插值坍缩）；符号混合的残差会相互抵消其方向（方向消解）；而在 softmax 交叉熵下，它会将训练样本的逐类别敏感性压缩到该样本自身的真实类别上（真实类别坍缩）。我们在目标扰动下，以每个预测的 $R^2$ 评估这两个算子相对于重新拟合的表现，不进行重新缩放。在使用平方误差训练的 tanh 网络（Friedman #1）和使用逻辑损失训练的网络（MAGIC、HIGGS）上，当 $N$ 从 2,000 增至 $10^6$ 时，$J$ 达到 0.99 至 1.00 之间的 $R^2$，而影响力在每个数据集上的 $R^2$ 都为负值。在 MNIST softmax 分类器上，影响力的 $R^2$ 同样为负值，而 $J$ 达到 0.92。在 HIGGS 上，在一次耗时不到五分钟的一次性设置之后，RTX 3090 计算 $J$ 的一行（保存一个预测的全部 $10^6$ 个敏感性）耗时不到 0.2 秒；相比之下，重新拟合则需要进行 $10^6$ 次拟合。