一个地点的文字所保留的内容：用于跨视角地理定位的零样本语言推理

arXiv:2610.07269v1 公告类型：cross 摘要：跨视角地理定位通常被视为图像检索问题，通过联合训练的嵌入，将地面图像与卫星图块数据库进行匹配。这类模型准确率较高，但需要大量配对监督，也无法展示支持匹配的证据。在本文中，我们研究了一个不同的问题：仅通过语言，这项任务能够完成到什么程度？我们提示多模态大语言模型（MLLM）将每个地面全景图和每个卫星图块描述为结构化文本，并通过比较这些描述进行定位。整个过程中没有训练任何组件。我们在来自美国四座城市的9,826个VIGOR配对样本上，针对三种设置进行了评估。第一种设置中，描述忠实但缺乏区分度。两种视角下的描述高度一致，但按照描述相似度对整个候选池进行排序，几乎从未返回正确图块（Recall@1为0.39%）。第二种设置中，我们将候选池缩小至十个相邻图块，就像粗略先验所做的那样。此时，相同的描述变得有用：一个依据结构一致性进行评分的MLLM评判器使随机排序的表现提升一倍，并达到强词法基线的水平。它还会指出两份描述中的哪些字段一致、哪些字段冲突，这是嵌入距离无法做到的，而我们认为这向可解释定位迈出了一步。第三种设置中，我们将该评判器应用于一个经过训练的视觉检索器。在它排序错误的查询上，基于图像进行重新排序是有效的，而基于我们的描述进行重新排序则无效（Recall@1分别为23.5%和10.7%）。场景结构在转换为语言后仍然保留，但区分相邻地点所需的细微外观信息却没有保留下来。代码和提示词已公开于https://github.com/AyeshAbuLehyeh/GeoLingual。