Hide and Seek：隐藏概念以探寻黑盒模型的解释

arXiv:2610.13935v1 公告类型：交叉投稿 摘要：解释机器学习模型的预测是一项核心挑战，对于黑盒视觉模型而言尤其如此。基于概念的归因方法利用人类可理解的概念来解释模型。现有的基于概念的方法只能解释分类和回归模型。这些方法需要访问模型权重或大规模概念标注数据集，且大多数方法无法提供图像级归因。我们提出 Hide and Seek（HnS），这是一种新的概念级归因方法，无需访问模型权重或带有标签的概念数据集。HnS 能够解释多种视觉模型。给定一个概念和一个图像集，HnS 使用视觉语言模型检索与该概念相符的图像，在每张图像中定位该概念，遮蔽定位到的区域，并根据黑盒模型对原始图像和遮蔽后图像的输出变化来衡量归因。通过直接测量模型行为并支持局部归因，该方法能够实现忠实的归因。我们在 CelebA 和 COCO-Stuff 上验证了 HnS。与现有方法相比，HnS 的归因结果与真实归因的一致性更高。我们展示了 HnS 在多种任务中的适用性，包括图像描述生成和卫星图像分割，而现有概念归因方法均无法用于这些任务。我们在补充材料中提供了匿名代码。