S-Space：探索多模态语言模型中的空间工作区

arXiv:2610.13527v1 公告类型：cross 摘要：多模态语言模型（MLLMs）展现出令人期待的空间推理能力，但支撑这些能力的内部机制仍缺乏充分理解。我们发现了 S-Space，这是一个线性表示子空间，其中对象标记表示沿水平、垂直和距离轴编码连续坐标。尽管我们通过对对象标记激活相对于空间答案得分进行微分来识别这些轴，S-Space 是内在的，而非由特定数据或提示诱导产生的；即使面对非空间问题，它仍然具有可读性。我们表明，S-Space 充当了 MLLMs 的内部空间工作区。感知模块将对象位置编码其中，形成可直接读取并用于支持准确空间判断的空间表示。内部推理会对其进行变换，以应对视角变化。言语回答会选择性地访问该空间，这一点得到因果干预的证实：因果干预能够改变空间判断，同时基本保持非空间回答不变。案例研究进一步表明，S-Space 能够为未见过的实体和观察者分配位置，并将物理方向与抽象语言含义联系起来，这揭示了大规模语言训练的能力与局限。最后，我们将 S-Space 用作诊断空间推理失败的工具。方向词的读取结果揭示了基于基本方位的参照系与基于图像相对位置的参照系之间存在系统性耦合。更重要的是，感知—计算分解揭示了一个关键瓶颈：MLLMs 能够形成有能力的空间表示，却无法完成跨视角变化进行可靠推理所需的空间变换。