FineART：用于双手操作的细粒度标注机器人轨迹数据集与视觉-语言-动作模型
FineART: Fine-Grained Annotated Robotic Trajectory Dataset and Vision-Language-Action Model for Bimanual Manipulation
精选理由
提供大规模细粒度双臂操作数据与模型，助力长时序机器人学习和跨硬件泛化。
AI 摘要
arXiv:2609.36416v2 公告类型：替换交叉 摘要：在真实世界环境中运行的机器人通常必须在长时域内执行复杂的多步骤双手任务，而不是单一、孤立的动作。当前的操作数据集难以支持这一能力：尽管单臂数据集的轨迹数量已达到数十万条，但它们通常只为每个回合提供一条高层指令；与此同时，现有带有子任务标签的双手数据集也只标注了其记录时长中的一部分。我们提出了 FineART，这是一个经过密集标注的双手操作数据集，包含 40,543 个回合（1,718 小时）以及涵盖 151 项任务的 533,913 个子任务。我们还提出了 FineART-VLA，这是一种能够预测自身下一个子任务以指导动作的视觉-语言-动作策略。在 FineART 的子任务标注上进行中期训练后，FineART-VLA 遵循空间指令的成功率从 32.0% 提升至 100.0%。在逐步的人类子任务指导下，它在未见过的长时域任务上的成功率也从 16.0% 提升至 76.0%。此外，在新机器人上进行少量微调后，该策略所需的数据量仅为未经过这种中期训练的基线方法的十分之一，并且能够以零样本方式泛化到新硬件上未见过的任务。我们将完整数据集、模型权重和训练代码开源。