RobotWorld：面向多样任务和具身形态的机器人使用多模态智能体基准测试

arXiv:2610.10409v1 公告类型：cross 摘要：通用智能体日益能够编写代码、使用工具并完成复杂的数字任务，这引发了一个问题：这些能力在多大程度上能够迁移到物理世界。为研究这一问题，我们推出了 RobotWorld，这是一个具有挑战性的机器人使用仿真测试平台：通过机器人接口，将指令和观测转化为物理任务执行。其 84 项任务涵盖操作、移动操作、运动、驾驶和空中控制，并设有明确的交互预算和可执行的成功检查机制。通过结合任务结果与执行轨迹进行分析，我们确定了能够迁移的能力，以及阻碍可靠完成任务的能力缺口。此外，我们发现当前的智能体能够构建复杂的感知与控制工作流，包括图像分割、相机标定、空间估计和基于动力学的计算。然而，这些能力并不能稳定地组合成成功行为：智能体即使到达指令指定的位姿，也会丢失与任务相关的物体状态；它们无法纠正无效动作，恢复得太晚，或将尚未完成的任务误认为已经完成。这种不均衡的迁移在不同模型之间也有所差异：Astra 在空间目标和受约束接触目标上的成功率更高，而 Opus 5.5 在连续平衡目标和定时交互目标上的成功率更高。通过将这些结果与执行行为联系起来，RobotWorld 既提供了严格的试验场，也对现存的能力缺口进行了实证刻画，从而为训练和设计更可靠的物理世界智能体确立了具体目标。