arXiv cs.AI精选79

MindTopo:基础模型能在拓扑空间中进行推理吗?

MindTopo: Can Foundation Models Reason in Topological Space?

· 33天前

精选理由

深度 92 / 新颖度 88,来自 arXiv cs.AI。

AI 摘要

空间推理不仅依赖距离、角度和形状等度量属性,还依赖在连续变形下保持不变的拓扑关系。认知科学将这些关系视为空间理解的基础,然而,对基础模型的评测主要聚焦于度量关系或依赖视角的关系。我们推出 MindTopo,这是一个基于认知科学和形式拓扑学、涵盖五种属性的拓扑直觉基准:连续性、分离性、次序、包围和纽结。MindTopo 在两个认知层次上评估每种属性。推理任务要求模型识别拓扑关系,或推断这些关系如何变化。规划任务则将基础模型实例化为闭环智能体,由其策略选择环境动作。MindTopo 包含 13 种程序生成的任务类型,共 11,030 个实例,并支持难度控制。我们对 14 个 MLLMs 进行基准测试,并研究了加入图像和视频生成能力的智能体配置,其中包括规划设置下的 3 个视频生成模型。每个 MLLM 在推理任务上的表现都优于规划任务,且表现最佳的模型仍远低于观察到的人类表现。在 Qwen3-VL-2B-Instruct 上,有监督微调和强化学习对推理能力的提升大于对规划能力的提升。生成的观测结果保留了局部线索并到达了看似合理的终点,但经审查的运行轨迹并不能可靠地遵循环境动力学,也无法在状态转换过程中保持拓扑结构。我们的网站位于 https://mind-topo.github.io/。

查看原文(arXiv cs.AI)