更快流动以实现协调：单步在线多智能体流策略

arXiv:2610.01882v1 公告类型：新 摘要：多智能体强化学习（MARL）为通过与环境交互学习协调行为提供了一个强大的框架。开发 MARL 策略需要在对复杂且多模态动作分布进行富有表现力的建模，以及高效训练与执行之间取得平衡。生成式策略，尤其是基于扩散的策略，能够忠实地捕捉复杂且多模态的行为，但代价高昂的迭代采样阻碍了其在在线多智能体场景中的扩展性。我们提出了一种基于单步 Flow 模型的在线 MARL 框架（OMAF），将富有表现力的生成式策略与高效的单步动作生成相结合。OMAF 采用基于 Transformer 的流策略来捕捉复杂的协调行为，同时利用其近似路径得分代理目标，为同步优化流策略提供了有原则的途径。为实现稳定且高样本效率的学习，我们进一步设计了一种联合优化方案，将 softmax Q 值估计与联合流策略目标相结合，以进行协调策略学习。通过消除迭代采样，OMAF 在不牺牲策略表现力的情况下大幅降低了训练开销。在 MPE 和 MAMuJoCo 的 10 个标准任务上的大量实验表明，OMAF 始终取得优越性能：与基线方法相比，回报最高提升 3.4 倍，样本效率最高提升 10.5 倍。这些结果验证了 OMAF 作为在线 MARL 中兼具表现力与计算效率的单步流策略范式的有效性。