面向开放团队多智能体强化学习的更替正交信用分配

arXiv:2610.02847v1 公告类型：cross 摘要：开放团队多智能体强化学习研究这样一类协作系统：在一个回合过程中，智能体可能加入、离开或被替换。在这类环境中，团队回报的变化既可能源于智能体选择了有用的行动，也可能源于活跃智能体群体本身发生了变化。标准的集中式评论家和共享优势函数通常会将这两种影响混合为一个标量信用信号，使得仍在团队中的智能体可能因其无法控制的外生更替事件而获得奖励或受到惩罚。我们提出更替正交信用分配（TOCA），这是一种面向开放团队的价值分解方法，可将行动影响、纯更替影响以及行动—更替交互影响分离开来。在外生更替条件下，事件条件价值可以表示为一种中心化分解，其中事件条件基线能够消除纯更替成分，同时保留对那些使团队能够适应未来替换的行动的信用。我们基于可变大小智能体集合和事件标记，构建了一个置换不变的集中式评论家，并推导出逐智能体反事实信用信号，以及适用于高方差控制环境的软加权交互变体 TOCA-$\beta$。受控诊断实验表明，相较于事件感知的 MAPPO 风格评论家，TOCA 能够提升回报；而移除交互信用会显著损害性能。在仅发生替换的 Dynamic Spread 基准中，TOCA-$\beta$ 在高更替率下取得了最佳平均回报，并优于其无交互消融版本。这些结果表明，明确分离更替信用与行动信用，是动态协作团队实现稳健学习的一项有益原则。