LLM 智能体之间的零样本协调

我们研究零样本协调（ZSC），即独立开发的智能体必须在测试时进行协调。尽管强化学习（RL）文献已对 ZSC 进行了充分研究，但对于 LLM 智能体在这类场景中的表现，人们的了解仍少得多，尽管它们正越来越多地被部署于此类场景中。现有的 LLM 协调研究往往依赖专门设计的支撑框架，而独立开发的智能体在实践中不太可能共用这些框架。此外，在复杂环境（如 Hanabi）中开展评估，也使得协调失败的原因难以准确定位。相比之下，我们聚焦于简单、通用的支撑框架，并在旨在隔离特定协调挑战的极简环境中进行研究。我们的结果表明，即使在这些受控场景中，前沿 LLM 智能体仍难以协调，主要原因在于它们对协调问题的理解有限，且对伙伴信念的推理能力较弱。尽管 LLM 引入了语义信息，为协调提供了一个额外维度，但它们仍未能有效利用这一结构。为此，我们提出协调友好定义（CFDs），作为一种有原则的方法，以实现 LLM 智能体之间的稳健协调。最后，我们表明，CFDs 可以被自动发现，从而无需手工设计。代码可在 https://github.com/ahayler/zsc-llm-agents 获取。