Hide and Seek：隐藏概念以寻找黑箱模型的解释

解释机器学习模型的预测是一项核心挑战，对黑箱视觉模型而言尤其如此。基于概念的归因方法使用人类可理解的概念来解释模型。现有的基于概念的方法只能解释分类和回归模型。这些方法需要访问模型权重或大规模概念标注数据集，而且大多数方法无法提供图像级归因。我们提出了 Hide and Seek（HnS），这是一种新的概念级归因方法，无需访问模型权重或带有概念标签的数据集。HnS 能够解释多种视觉模型。给定一个概念和一个图像集，HnS 使用视觉语言模型检索与概念相符的图像，在每张图像中定位该概念，遮蔽定位区域，并根据黑箱模型对原始图像和遮蔽后图像的输出变化来衡量归因。通过直接衡量模型行为并支持局部归因，该方法能够实现忠实的归因。我们在 CelebA 和 COCO-Stuff 上验证了 HnS。与现有方法相比，HnS 的归因结果与真实归因的一致性更高。我们展示了 HnS 在多种任务中的适用性，包括图像描述生成和卫星图像分割，而现有的概念归因方法均无法用于这些任务。我们在补充材料中提供了匿名代码。