MIKASA-Robo-VLA：对VLA模型在长时域操作中记忆能力的基准测试

arXiv:2610.00604v1 发布类型：新 摘要：视觉-语言-动作策略通常只能看到最近的一帧或几帧，这使得评估它们如何使用任务过程中消失的信息变得困难。我们提出了MIKASA-Robo-VLA，这是一个包含90项语言条件操作任务的基准测试。其中除10项任务外，其余任务都会隐藏动作所依赖的线索；这10项是反应式控制任务。MIKASA-Robo是其重构的任务套件，共包含32项任务，并且仅在其中具有代表性的VLA子集中使用语言。在这里，每项任务都提供一条指令，而依赖记忆的任务会隐藏与任务相关的线索，反应式控制任务则始终保留该线索。对于70项任务，环境阶段的时间安排明确规定了信息间隔；其中28项任务的间隔超过了我们调查的具有最宽固定上下文的VLA的16帧窗口。该间隔只计算能够确定线索缺失的时间段，而不是策略必须保留该线索的完整时长，因此按照构造，每项依赖记忆的任务仍然需要记忆，包括那些测得间隔较短的任务。我们以RLDS和LeRobotDataset v3格式发布了涵盖10种记忆类型的22,500条专家轨迹。一个使用当前图像和本体感知信息、但不使用观测历史或显式记忆模块的参考$\pi_{0.5}$基线，在14项任务上进行了微调，取得了0.211 $\pm$ 0.044的平均任务成功率。它在评估的Long-split任务上的较低成功率，受到开环分块执行以及该子集中所包含记忆类型的混杂影响。项目页面：https://mikasarobo.github.io/