RoboSPA：VLA 模型能否超越简单场景和短时程任务？

Vision-Language-Action（VLA）模型在语言条件下的机器人操作方面取得了令人鼓舞的进展。然而，现有数据集和基准主要评估预定义设置下的任务完成情况，对模型在空间和流程复杂性不断增加时的推理能力提供的洞察有限。我们提出 \textbf{RoboSPA}（\textbf{Robo}t \textbf{S}patial-\textbf{P}rocedural \textbf{A}ssessment），这是一个用于诊断 VLA 模型中具身推理能力的大规模机器人操作数据集和基准。\texttt{RoboSPA} 关注两个核心维度：细粒度空间推理和长时程流程规划，涵盖 10 个任务类别和 56 个基础任务。每个任务都设定为五个难度级别，共生成 280 种变体，空间歧义和流程复杂性逐步增加。我们在多种具身形态和多样场景中收集了 527K 条轨迹。除二元成功率外，\texttt{RoboSPA} 还引入了用于更细致评估的诊断指标。对代表性 VLA 模型的实验表明，当前系统在复杂空间关系、精确的底层执行以及依赖记忆的规划方面仍然存在困难。这些结果使 \texttt{RoboSPA} 成为一个具有挑战性的诊断基准，可用于开发更强大、更可靠且更具泛化能力的具身智能体。我们的数据和代码可在 https://github.com/fanzhenxuan/RoboSPA 获取。