探测视觉基础模型中的空间状态表征

观察者只能看到周围世界的一部分，却必须持续掌握当前视野之外的信息。因此，空间感知不仅涉及识别单个图像，还要求维护一种持久的空间状态，在自身运动过程中对其进行更新，并利用它来指导行动。视觉基础模型是否提供了支持这种状态的表征？我们围绕四个层次的空间能力展开研究——空间结构、物体持续性、预测性空间更新和可行动性——在静态室内环境的连续第一人称观测下，使用冻结特征探针对十种表征进行分析。结果显示，能力表现会因任务、网络层和前缀长度而异：对可见场景的强读取能力，并不能确保准确保持物体持续性或检索未来特征。通过匹配的对照实验，我们区分了读取准确性与对视觉历史和运动信息的依赖。原生未来预测保留了可恢复的空间结构，但在真实特征上训练的空间读取器无法不加改变地迁移到预测特征上。最后，依赖目标的候选选择并不能证明模型具有可靠的连续行动效用：预测动作会响应目标变化，但提供正确目标并不能稳定地改善行动进展。在这四个层次中，物体持续性和可行动性建立在相机位姿读取能力之上，而特征预测则建立在可见场景读取能力之上。总体而言，这些发现表明，对空间表征的评估不应仅关注能够从中解码出什么，还应考察这些信息是否能在观测结束后继续保持、得到预测性更新，并用于面向目标的行动。