Watch, Infer, Coordinate：推断机器人伙伴约束以实现零样本协调

在物理世界中运行的机器人将越来越需要与其他机器人进行协调，尤其是在操作任务中，因为物体可能过大或过重，单个机器人无法独自搬运。由硬件退化或执行器故障引起的物理限制，可能会限制机器人能够可靠执行的动作，但其伙伴可能并不知道这些限制。我们研究：一个协助机器人能否通过观察某机器人与另一机器人进行协调，推断出该机器人伙伴的物理约束，并利用推断出的能力，在新任务中与同一伙伴进行协调。这一问题很困难，因为示范展示了受约束机器人实际执行了什么，却没有展示它本来能够执行什么。在物理耦合任务中，另一台机器人还可能会补偿其伙伴的限制，使得仅凭受约束机器人的行为难以识别这些限制。我们的核心洞见是，这些约束会塑造团队的联合行为，因此两台机器人的动作都能为推断受约束伙伴的能力提供信息。我们提出了 Watch, Infer, Coordinate，这是一个涵盖三种物理耦合操作场景的基准，并配套提出了一种利用观测到的联合行为对候选约束进行评分的推断方法。在全部三种场景中，我们的方法都显著提升了约束推断和零样本协调的性能，接近于能够获取真实约束的预言者水平。