基于视觉力预测的机器人学习

力感知操作通常依赖专用的力传感器或触觉传感器。我们展示了另一种实现力感知操作的方法：通过视觉预测柔顺 Fin Ray 夹爪发生形变时产生的力。我们的方法训练两个模型。首先，我们在校准数据上训练视觉力估计器，并利用它为任务演示标注力的估计值。其次，我们在这些力增强的演示数据上训练动作--力提议策略，以联合生成候选机器人动作及其对应的力。在测试时，我们对候选动作及其预期产生的力进行采样，然后执行预测力最接近演示数据中目标力的动作。我们在采摘浆果、抓取空罐、手内重新定向以及插头插入等任务上评估了我们的方法。结果表明，在部署阶段无需力传感器或触觉传感器，视觉力预测也能指导接触丰富型操作任务中的推理时动作选择。