AffordCraft：从单张图像可扩展地构建可执行任务的仿真资产

仿真中的机器人学习依赖于模拟器所提供的物体。许多任务需要具有独立部件、支持所需运动的关节，以及在接触过程中仍然有效的物理属性的物体。现有方法会针对每张图像重新恢复这些结构：生成模型预测的部件和关节大多无法在仿真中稳定或运动，而通用智能体则需要针对每张照片进行长时间的模型调用。AffordCraft 通过检索而非生成，从单张 RGB 图像和任务指令构建此类资产：它定位物体及需要操作的部件，从可动资产库中选择匹配条目，并在保留其部件和关节完整性的同时使其与图像相匹配。在不使用任何标注物体的边界框或掩码的情况下，AffordCraft 为来自 31 个类别的 2,000 张照片中的 1,703 张生成了物理有效的资产。五种生成方法在相同照片上的通过率最高仅为 45%，并且按中位数计算，它们为每个有效资产所需的 GPU 时间是我们方法的 10 到 78 倍。在 50 张包含杂乱背景的图像上，自动检测后，237 个标注物体中的 162 个通过了相同的物理测试。将资产库从 141 个条目扩展到 11,372 个条目无需改变方法，并将类别覆盖率从 46% 提高到 100%，将选择结果中包含所请求标签的比例从 18% 提高到 51%。我们还利用构建的资产创建操作任务，包括单物体任务和组合场景任务；在脚本化演示上训练的策略能够从训练中未见过的初始状态完成这两类任务。