回到柏拉图的洞穴：大规模考察跨模态表征趋同

arXiv:2604.18572v3 公告类型：替换交叉版本 摘要：柏拉图式表征假说认为，在不同模态（例如文本和图像）上训练的神经网络会趋向于对现实形成一种共享表征。如果这一假说成立，那么这将对模态选择是否重要这一问题产生重大影响。在本文中，我们表明，支持这一论断的证据远比后续研究所暗示的弱。原始研究在1024对文本—图像样本上使用的互惠 $k$ 近邻指标只能捕捉粗粒度结构。为了避免随着数据规模扩大而导致对齐崩溃，$k$ 必须按比例增长，这削弱了关于细粒度表征趋同的论证。研究报告中对齐程度随语言模型能力增强而提升的现象，在近期模型上已经饱和。此外，一对一的文本—图像配对有利于对齐，而在非双射数据下，对齐程度会下降。我们进一步发现，图像表征和文本表征确实共享粗粒度语义结构，但更强的语言模型和更丰富的描述都无法带来细粒度对齐。因此，多模态表征共享粗粒度结构，但没有证据表明它们趋同于一种共享表征——可以说，完整的表征趋同需要细粒度对齐。