PyRUA-DataFarm：作为高性价比远程操作员的 LLM Agent，用于生成可直接用于真实机器人的数据

远程操作仍是收集机器人示范数据的默认方式，但每个回合都要耗费机器人和操作员的时间，而且每项新任务都必须从头开始。我们探讨编码代理能否接管远程操作员的工作。在我们的 DataFarm 中，代理接收一项数据请求，以及机器人在目标场景中的一个校准回合，然后在仿真环境中重建该任务：编写场景、专家控制器和成功判定器。仿真器提供精确动作，而一个以真实图像为条件的视频模型将每次运行渲染为具有照片级真实感的视频，并同时一致地生成所有相机视角。输出的是可直接用于真实机器人的数据：带有机器人动作标注的同步相机视角数据，策略可直接基于这些数据进行训练，并部署到真实机器人上。在数据纳入之前，独立评审器会对专家控制器和每个渲染回合进行认证。在五项真实机器人任务上，仅使用数据农场数据训练的策略，其表现可媲美使用同等数量远程操作回合训练的策略（100 次试验中成功次数分别为 93 次和 84 次）；在未见过的桌布和有色光照条件下，前者仍能取得 87 次成功，而后者的成功次数降至 46 次。任务适配完全自动化，平均每项任务只需支付 21 美元的 API 使用费，另加 5 美元的渲染合约费用；这些费用各支付一次。此后每个回合的平均成本为 0.80 美元，用于仿真、渲染和审核，无需机器人或操作员参与。对于一项任务，一小时的三视角数据平均成本为 107 美元（已包含上述费用），略低于中国远程操作报价的 117 美元，也低于北美仅人工成本就达 290 美元的价格。