DisParQ：面向可解释视觉基础模型的自监督部件概念

基于概念的视觉模型通过一层可供人类审查的中间概念来表示图像，从而可以将模型所依赖的依据追溯到这些概念。然而，这类模型往往局限于固定类别，或依赖语言来定义概念。我们提出 DisParQ（Discrete Parts with Quantized attributes），这是一种从强大且冻结的纯视觉自监督骨干网络中学习具有空间定位的离散概念表示的方法。该方法既不需要类别标签，也不需要语言监督。每个图像块都被分配给可学习原型字典中唯一的一个概念，并且每幅图像只允许激活一个稀疏的概念子集。为捕捉每个概念在不同图像中的变化（例如“车轮”的类型），我们在学习概念的同时学习连续残差，再将其量化为离散属性。空间解码器仅根据概念和属性重建骨干网络的表示，因此，重建成功意味着离散表示保留了骨干网络的信息。我们在七个数据集上评估了 DisParQ，涵盖通用识别数据集（ImageNet、PartImageNet、Places）和细粒度基准数据集（CUB、Cars、Dogs、Flowers）。结果表明，DisParQ 在 ImageNet 线性探测评估中的表现与其冻结的 DINOv2 教师模型十分接近（top-1 准确率为 83.2%），概念一致性高于语言对齐模型，在细粒度识别任务中保持竞争力，并支持基于部件的跨类别检索。