HumanoidToolBench：从选择到移动执行的类人机器人工具使用基准测试

随着机器人硬件和学习方法的发展，类人机器人需要借助工具来执行超出其固有物理能力限制的任务。成功使用工具需要选择合适的工具，并协调操作以及在必要时进行移动，以完成任务。现有基准测试无法在类人机器人上对这些能力进行联合评估。我们推出了 HumanoidToolBench，这是一个包含18项任务的基准测试，涵盖三种场景、三个执行层级和两种工具集模式；同时推出 ToolBook，这是一个包含3.1k条演示数据的数据集，采集自仿真环境和真实 Unitree G1。对仿真环境中的七种策略和真实机器人上的三种策略进行评估后发现，在选择合适工具与完成任务之间存在显著差距。针对 GR00T N1.7 的专项测试表明，其在面对未见过的工具时选择准确率下降，并且会在无关指令下继续执行任务。代码和数据集可在 https://snu-pi.github.io/HumanoidToolBench/ 获取。