通过分解价值梯度流实现测试时多智能体协调

arXiv:2610.02554v1 公告类型：新 摘要：离线多智能体强化学习（MARL）面临着一个长期存在的权衡。具有表达力的生成式策略能够表示数据中的多模态协调，但无法区分高价值区域；而经过价值优化的策略能够利用学到的 Q 函数，却会将多模态压缩为单一的主导模式。单个智能体的模式坍缩可能破坏联合协调，而多个智能体同时发生偏移则可能将联合策略推入动作空间中未见过的区域。我们提出了通过最优统一传输实现可扩展协调（SCOUT），这是首个通过测试时动作细化，将生成式基础模型与学习到的价值函数相结合的离线 MARL 框架。SCOUT 训练两个解耦组件：流匹配行为先验和分解式价值函数。在测试时，它通过 Stein 变分梯度下降，将行为样本传输至高价值区域。传输步数控制自适应的测试时扩展，从而取代固定的正则化系数。在个体-全局最大值（IGM）原则下，我们证明了联合软价值差距的单项 KL 界：随着传输收敛，该界会趋于零，同时存在一个不可约的加性残差，其大小与 IGM 违背程度成正比。在实验中，SCOUT 在离散和连续离线 MARL 基准测试中均取得了最佳平均性能，并在所有离线到在线配置中实现了性能提升。