通过 Kernel Canonical Correlation Analysis 重新审视 VLMs 的视觉表征增强

arXiv:2610.02718v1 公告类型：cross 摘要：诸如 CLIP 的视觉语言模型展现出强大的语义泛化能力，但在细粒度视觉感知方面仍存在局限。近期工作 KUEA 提出了一种自然的解决方案：在以视觉为中心的 DINOv2 的监督下对图像编码器进行微调，使其核矩阵逐元素对齐，同时对嵌入进行正则化，使其保持接近预训练视觉编码器，从而保留 CLIP 中的图像—文本语义。然而，我们发现，削弱与 DINOv2 的对齐损失的作用并不一定会降低其细粒度视觉性能，这表明核矩阵差异可能不足以进一步增强视觉表征，也促使我们重新审视对齐形式。在本文中，我们通过 Kernel Canonical Correlation Analysis（KCCA）提出了一种刻画特征子空间上表征对齐的新视角，该方法最大化投影之间的相关性。在优化方面，我们基于 KKT 条件推导出一种高效的端到端训练方案，避免了 KCCA 中的特征值问题。进一步地，我们将方法扩展为三视图形式，即 3vKCCA，在统一的优化框架下纳入预训练文本编码器的投影，以实现联合对齐。在 ImageNet-1K 上使用 CLIP ViT-L/14 时，我们的 3vKCCA 将 MMVP-VLM 准确率从 17.8 提升至 25.9，大幅超越现有方法，同时保持了零样本图像—文本检索性能。