DisParQ：面向可解释视觉基础模型的自监督部件概念

arXiv:2610.09802v1 公告类型：交叉收录 摘要：基于概念的视觉模型通过一层可供人类审视的中间概念来表示图像，因此可以将模型所依赖的信息追溯到这些概念。然而，这类模型往往局限于固定类别，或依赖语言来定义其概念。我们提出 DisParQ（Discrete Parts with Quantized attributes），一种从强大的冻结纯视觉自监督骨干网络中学习具有空间定位的离散概念表示的方法。该方法既不需要类别标签，也不需要语言监督。每个图像块都被分配给可学习原型字典中的唯一一个概念，且每张图像仅允许激活少量概念。为了捕捉每个概念在不同图像中的变化（例如“车轮”的类型），我们在学习概念的同时学习连续残差，再将其量化为离散属性。空间解码器仅根据概念和属性重建骨干网络的表示，因此成功重建意味着该离散表示保留了骨干网络的信息。我们在七个数据集上评估了 DisParQ，涵盖通用识别数据集（ImageNet、PartImageNet、Places）和细粒度基准数据集（CUB、Cars、Dogs、Flowers）。结果表明，DisParQ 在 ImageNet 线性探测上的表现与其冻结的 DINOv2 教师模型非常接近（top-1 准确率为 83.2%），概念一致性高于语言对齐模型，在细粒度识别上保持竞争力，并支持基于部件的跨类别检索。