通过多智能体强化学习中的极值寻优控制优化团队行为

在协作式多智能体强化学习（MARL）中，智能体必须学会协调行动，以实现共同目标。有效协调的一个关键指标是行为多样性，即在面对相同观测集合时，智能体执行各具特色但彼此互补的控制策略的潜力。尽管行为多样性能够促进角色专门化和更丰富的联合行为，但其适宜水平高度依赖具体情境和任务，且通常需要付出较高成本进行调节。我们提出 Adaptive Diversity Control（ADiCo），这是一种在训练过程中在线调整行为多样性的双时间尺度框架。在较快的时间尺度上，Diversity Control（DiCo）将系统多样性调节至目标值附近；在较慢的时间尺度上，Extremum Seeking Controller（ESC）仅利用平均回合回报来调整该目标值，无需多样性—性能关系的显式模型或解析梯度。我们在两项协作式 MARL 任务的六种配置上评估了 ADiCo，结果表明它能够维持与任务相适应的多样性水平：当同质化策略更有利时保持较低多样性，而在需要异质化策略时维持较高多样性。通过这种自适应机制，ADiCo 的平均性能达到或超过 DiCo（通过网格搜索得到的最佳多样性目标值）和 Unconstrained DiCo（允许多样性在没有目标调节的情况下自然形成）。这些结果表明，将经典反馈控制融入 MARL 训练，能够通过为多样性目标值的任务特定手动选择提供一种系统化替代方案，实现有效协调。