arXiv cs.LG精选85

SHAP 中的解释多重性:表征与评估

Explanation Multiplicity in SHAP: Characterization and Assessment

· 5天前

精选理由

揭示SHAP解释的运行差异,助力更稳健评估特征重要性。

AI 摘要

arXiv:2601.12654v3 公告类型:替换 摘要:SHAP 解释广泛应用于高风险场景,以为决策提供依据;然而,即使模型、输入实例和预测结果均保持不变,不同次运行之间的解释仍可能存在显著差异。以往研究记录了不同解释方法之间的不一致;我们表明,即使在同一训练模型和同一实例上重复运行同一个估计器,SHAP 内部也会产生显著不一致。我们将这一现象称为解释多重性,并提出一种评估方法,用于在符合实际部署的计算预算下对其进行表征。该方法结合了双随机种子协议,用于比较模型诱导的变异性和解释器诱导的变异性;同时采用按幅度、按排名和按集合划分的指标层级,以及随机化的 Dirichlet 和 Mallows 零模型,为观测到的不一致提供参照尺度。在多个数据集、模型和采样策略上,我们发现解释多重性普遍存在,即使对于高置信度预测也依然如此。不同来源的相对贡献取决于数据条件和模型:模型诱导的不一致通常在较小数据集上更大,而解释器诱导的不一致通常在较大数据集上更大。常用的 L2 距离可能低估这种不稳定性,而基于排名的指标则揭示出排名靠前特征的显著变化,包括首要特征。诸如 CTE 等改进的采样方法并不能消除排名层面的多重性;K-Means 能减少不同运行之间的变异,但其压缩背景下生成的解释可能会偏离基于经验分布的参照。实践者应将单次运行得到的 SHAP 输出视为某个分布的实现,而不应将其视为权威性结果。

查看原文(arXiv cs.LG)