测试 LLM Agent 团队中的可互换性

生产环境中的多智能体系统会不断替换 agent，基于这样的假设：填补某一角色的 agent 与任何其他能够胜任该工作的 agent 都可以互换。我们对这一假设进行了测试。在每种设置下，基于同一个基础模型、针对相同任务独立组建 8 个团队；每个 agent 在 10 次组建轮次中都保留一本私有笔记本。随后，我们在团队之间交换角色匹配的 agent，并在留出任务上测量变化。与一种能够复现阵容变动带来的干扰、但不改变谁坐在该位置上的安慰剂对照相比，交换对任务得分的影响很小，但会使团队每单位进展所消耗的通信量增加 16% 到 63%；而在 Hanabi 中，被交换进来的 agent 的代价比一个没有经验的 agent 更高，这与其从前搭档那里学到的约定受到干扰相一致。在 Collab-Overcooked 中，当设定议程的 agent 被替换时，额外通信的大部分来自留下来的 agent。围绕基础模型、解码温度和组建长度的三项消融实验表明，交换惩罚会与另一个量同步变化：独立组建的团队彼此漂移的距离。贪心解码会同时降低这两个量；将团队的历史长度加倍也会同时提高这两个量。在这些设置下，agent 在任务结果上的可替代性高于其在协同效率上的可替代性，而且组建历史越长，交换带来的影响越大。