通过 Reciprocal Q-Augmentation 实现无共享奖励的合作

一般和博弈比完全合作或对抗性环境更具挑战性，因为智能体可能会相互欺骗或利用。要实现较高的社会福利，需要持续合作，而一次背叛就可能使智能体陷入社会福利次优的纳什均衡。此外，假设能够访问其他智能体的奖励或内部状态通常并不现实，并且会将额外的合作隐式引入这一环境。为解决这一问题，我们提出了 Reciprocal Q-Augmentation（RQA），这是一种利用潜变量对手模型，通过估计自身行为对其他智能体的影响来增强 Q 函数的方法。RQA 使智能体仅使用自身的 Q 函数，就能学习合作策略和背叛策略。我们表明，在社会困境中，所有遵循 RQA 合作策略的智能体，比采用完全合作算法的智能体学会合作的速度更快，并能达到更高水平的合作。此外，单个 RQA 智能体通过在合作策略和背叛策略之间进行适当切换，可以促使使用标准强化学习算法训练的智能体进行合作，而后者在其他情况下最终会选择背叛。我们在 Iterated Prisoner's Dilemma、Iterated Traveler's Dilemma、Iterated Stag Hunt 和 CleanUp-Lite 上评估了我们的方法。实验表明，实现 RQA 的算法优于采用共享奖励的完全合作方法，并能与原本无法达到较高社会福利的算法实现合作。