我该加入哪里？通过语言引导的目标预测实现机器人群组加入

社会导航通常假设目标已被指定，并专注于在遵循社会规范的同时抵达该目标；而机器人群组加入则需要根据群组的实时活动和队形，预测应从何处加入。这是一项高度语义化的任务，但对于机器导盲犬和自动驾驶代步车等应用而言，是一项重要能力。我们提出了以语言为基础的机器人群组加入任务：给定一项观测和对目标群组的自然语言描述，机器人识别相关群组成员，并预测符合社会规范的加入位姿。为实现语义指代 grounding，我们通过递归谱划分生成结构化候选子集，并利用语言条件图像--几何模型对其进行排序。确定目标群组后，目标预测器利用人类队形先验，在可行的机器人位姿上生成多模态能量--朝向图。在不同群组规模、人群密度和视觉歧义条件下，针对交谈、排队和观众场景的实验表明，我们的方法以亚秒级推理速度取得了具有竞争力的 grounding 准确率，并在加入位姿预测方面优于所有基线方法。真实机器人实验进一步展示了该方法在静态和动态变化的互动中的群组加入能力。