GeoReader:为视觉语言模型的空间推理学习潜在几何
GeoReader: Learning Latent Geometry for Spatial Reasoning in Vision-Language Models
精选理由
介绍让视觉语言模型真正读懂几何信息的新方法,显著提升空间推理能力。
AI 摘要
视觉语言模型(VLM)难以处理 RGB 观测中隐含的度量关系和多视图关系。几何基础模型可以从 RGB 中恢复这些结构,但现有方法要么将估计得到的特征与视觉 token 融合,仅通过问答学习如何使用它们;要么将 VLM 的潜变量与几何特征对齐。然而,捕获几何信息并不意味着模型会使用它:将一个已发布的特征对齐模型中的对齐潜变量置零后,其准确率仍保持不变。我们提出 GeoReader,这是一种为能够读取几何信息的 VLM 学习几何表示的框架。首先,我们训练轻量级几何读取器,使其生成连续输入 token,并使用由冻结 VLM 解码的几何描述对其进行监督,从而让读取器以目标模型已经能够读取的形式表达几何信息。随后,我们冻结读取器以保持这一接口,同时在空间问答数据上微调 VLM,并根据问题调节几何信息的注入。几何描述仅作为训练目标:在推理时,VLM 无需生成几何思维链,而是直接依据连续几何 token 作答。利用从 RGB 图像预测的几何信息,我们的方法在 Qwen3-VL-4B 上于 MindCube-Tiny 达到 94.3;结合多源问答混合数据,在 Qwen3.5-9B 上于另外六个空间基准测试中取得平均 72.5 的成绩。这些结果表明,有用的几何表示应当是接收模型能够使用的表示,而不仅仅是能够从中重建几何信息的表示。