ICON Decomposition：用于模型审计的多变量概念级深度表征解释

深度神经网络常常利用训练数据中的虚假关联，这种失效被称为捷径学习。基于概念的可解释性方法通过测试诸如患者性别或扫描仪设置等概念能否从网络层中被解码出来，来筛查捷径。由于每个概念都是单独评估的，这些方法可能会把概念之间的相关性误判为模型使用它们的证据。我们提出 ICON decomposition，它不再单独考察各个概念，而是在考虑所有其他概念和结果之后，量化每个概念能够解释某一层方差的多少。在具有已知真实值的合成数据上，ICON 比七种替代基线方法更准确地恢复了概念重要性。在皮肤病灶和脑成像模型上，它能够分离出模型真正依赖的概念，量化任何给定概念都无法解释的表征部分，并产生稀疏解释；我们通过重新训练和分布外测试验证了这些解释。