面向多模态大型语言模型的规则合规视觉空间规划

多模态大型语言模型（MLLMs）将语言推理与视觉感知相结合，但它们在显式或此前未见过的规则约束下执行视觉空间规划的能力仍未得到充分探索。这一场景要求模型共同理解空间布局、解释自然语言规则，并据此规划有效动作。为弥补这一空白，我们引入 RuleMaze，这是一个可控基准，其中 MLLMs 必须在遵守不同复杂度自然语言规则的同时穿越迷宫。RuleMaze 通过要求准确感知、规则解释和受约束的动作规划，隔离出规则合规的空间规划能力。为实现可扩展且系统化的规则构建，我们提出 Language-Logic-Function Hybridization，它能够自动生成自然语言规则，并将其转换为逻辑表示和可执行验证器，从而消除手动规则工程。为提升规则遵循能力和泛化能力，我们引入 Disentangled Multimodal Planning（DMP），它通过可解释的推理原语将感知、执行和规则验证分离开来。通过解耦这些组成部分，DMP 有助于系统性地泛化到更复杂且此前未见过的规则，同时提供透明的中间规划轨迹。实验表明，与端到端文本规划基线相比，DMP 显著提高了规则合规性和规划成功率。总体而言，RuleMaze 为研究 MLLMs 中具备基础感知且可解释的基于规则的空间规划建立了一个原则性基准。代码可在 https://github.com/oceanflowlab/RuleMaze 获取。