使用空间 Transformer 在推理空间中控制 AI 智能体集群

大型语言模型（LLM）为机器人领域的规划与导航引入了令人振奋的新范式，但随着团队规模扩大，即使是简单的多机器人任务也会失败。我们提出 COMPASS，一种可扩展的去中心化多机器人架构，通过推理空间反馈控制来控制大规模智能体机器人集群。反馈由每台机器人上的空间 Transformer 在本地生成，该 Transformer 将整个机器人群体中的多跳消息聚合为一个学习得到的反馈令牌。我们的实验发现，语言模型集群能够从输入指令的结构化多样性中获得性能提升，这种多样性可以抵消偏差；而且这一优势在不同规模下都能保持。与集中式前沿 LLM 策略以及仅使用语言进行通信的消融方案相比，我们发现 COMPASS 的耦合设计能够 decisively 地生成协调一致的集群编队，准确执行指令意图。我们证明，当推理反馈与紧凑的学习令牌结合时，效果最佳。我们的消融实验表明，在语言通道中呈现原始状态的人工设计反馈会彻底破坏协同性。COMPASS 能够零样本泛化到含义模糊的未见指令，在指挥规模达到训练规模 16 倍的集群时仍能工作，并根据自然语言指令控制多达 1024 个机器人飞行。