用于摊销式条件可解释性的核化参数敏感度图谱

arXiv:2610.12737v1 公告类型：新论文 摘要：基于梯度的归因能够提供模型参数随具体输入变化的信息，但通过反向传播为大量样本计算归因的成本高昂，而静态重要性分数又舍弃了对输入的依赖性。我们从经验神经切线核的分块分解推导出 KPSA（Kernelized Parameter Sensitivity Atlas）。该方法衡量归一化的参数组敏感度，将这些源样本嵌入显式查询空间，并使用轻量级核函数估计未见输入的敏感度。我们推导了将有限源样本误差与不可约表示误差分离的界，并给出了基于间隔的 top-$k$ 恢复保证。本文研究了两种可解释性应用。首先，KPSA 在视觉、预测和蛋白质建模场景中识别出对扰动高度敏感的参数组。在跨度为五倍的参数预算范围（$0.02$-$0.1\%$）内，其选定参数组的扰动敏感度达到一阶反向传播预言机所选参数组的 $39$-$85\%$。在视觉和预测任务中，这些参数组构成跨越不同深度的稀疏敏感度回路，并随输入呈现系统性变化。其次，我们将 KPSA 用于 Transformer 中 MLP 特征的激活归因问题。在视觉任务上，它保留了反向传播预言机相对于恒定敏感度基线的性能优势的 $81\%$，同时将批量查询时的吞吐量从每秒 551 张图像提高到 2,041 张，并将 GPU 峰值显存占用从 4.55GB 降至 0.44GB。在蛋白质建模任务上，它恢复了这一性能差距的 $68\%$。对 KPSA 核聚合的消融研究表明，在 KPSA 空间中进行最近邻检索仍可保持竞争力。实证结果表明，紧凑的核图谱能够存储有用的、依赖于输入的参数敏感度信息，同时摊销重复梯度归因的计算成本，为实现可扩展的条件可解释性迈出了一步。代码见 https://github.com/Axym-Labs/kpsa 。