DuoMind：通过语义通信实现分布式多机器人协作

视觉语言模型（VLM）和视觉语言动作模型（VLA）近年来推动了通用机器人领域的快速发展，但大多数进展都集中于单机器人场景。将这些能力扩展到多机器人系统仍然具有挑战性，因为机器人必须在保持可靠、细粒度执行的同时，协调长时域行为。我们提出了DuoMind，一种通过语义通信实现多机器人协作的分布式分层框架。每个机器人使用基于VLA的动作模型进行低层执行，并使用基于VLM的编排器进行高层推理和智能体间协调。在每个规划步骤中，每个机器人的编排器都会基于任务指令、局部观测以及从其他机器人接收的消息进行推理。随后，它为动作模型生成低层指令，并为协作机器人生成语义消息。该架构结合了预训练模型的互补优势，将VLM的语义推理能力与VLA的精确动作生成能力相结合。针对多机器人协作基准的匮乏问题，我们进一步开发了RoboPoly，这是一个包含长时域操作任务的基准，要求在分布式控制下进行协调的闭环执行。在RoboPoly和RoboTwin上的实验表明，DuoMind能够提升多机器人任务性能；消融研究进一步验证了分层编排和语义通信的贡献。更多详情请参阅我们的项目页面。