学习多智能体编排：策略改进中的高阶交互

arXiv:2611.07495v1 公告类型：新论文 摘要：学习式编排已成为基于大语言模型（LLM）的多智能体系统中一种前景广阔的范式，其中，中央编排器在整个任务过程中选择智能体，并控制它们接收的信息。尽管实证研究进展迅速，现有方法在训练编排器时，仍将每个决策各自的优势归于该决策，隐含地假设同一回合中的其他决策保持不变。这一假设在编排中并不成立，因为每个决策对最终结果的贡献取决于其之前的决策，因此联合更新的增益并不等于各个决策效果之和。为应对这一挑战，我们提出了 \textbf{IAPO}，这是一种显式考虑决策间交互的交互感知策略优化框架。具体而言，IAPO 将两个策略之间的性能差异精确分解为单个决策的效果及其交互效应；我们证明，交互效应可占可实现增益的一半。随后，IAPO 利用采样轨迹同时优化这两部分，并保证每次更新都带来改进。在 GSM8K、MATH、DROP、MBPP 和 HumanEval 的长输入版本上，与使用相同 7B 执行器的十五个已发表的多智能体及工作流搜索系统相比，IAPO 部署的方案以更少的 token 达到了最强系统的准确率，而移除交互项会使代码任务的准确率下降 7 至 17 个百分点。