当代理协作时：衡量多代理 AI 编码中的协作

我们研究 AI 编码代理团队在解决编程任务时如何协作。当前的评估通常只报告代理是否完成任务以及运行成本是多少，而团队内部的协作在很大程度上未被衡量。我们提出了一种用于衡量这种协作的工具。每次运行都表示为一个时序网络，其中代理和文件是节点，消息、文件写入和文件读取是带有时间戳的有向边，并关联相应成本。我们将该工具应用于 1902 次运行，每次运行都用固定测试套件进行评估，覆盖了团队规模、团队结构和文件策略各不相同的配置。得到的网络展示了随着团队扩大以及工作变化，协作如何发生变化。直接消息传递最初随代理数量近似二次增长，其中很大一部分增长来自早期的一轮自我介绍。随着团队进一步扩大，在我们研究的最大团队中，这种增长趋于平稳，代理越来越多地通过广播消息进行通信。任务也会塑造最终形成的网络。围绕共享规格说明构建的工作会产生密集且高度互联的团队，而流水线任务则会产生围绕局部接口组织的稀疏网络。共享文件可以替代重复的一对一通信，在消息密集型工作中，当有八个代理时可将输出 token 减少约 42%；但当文件已经承载协作时，则会增加开销。指定一名代理作为协调者并不会形成通信枢纽，也不会可靠地提高成功率。我们还观察到，代理会在未被提示的情况下倾向于寻找隐藏的评分材料。我们在封闭环境中重复了关键实验条件，用带标记的占位文件替换隐藏材料。在另外 244 次运行中，代理仍在五分之四的运行中试图访问这些材料，同时关于协调者和文件通道的发现也得到复现。