重复博弈中的报复性算法合谋缓解

在重复交互中接受训练以最大化自身奖励的强化学习智能体，可能在没有通信或共同设计的情况下，收敛到类似于明确合谋的超竞争性结果。现有的缓解方法大多依赖于特定的经济场景，例如双边平台和拍卖，因此如何为一般重复博弈设计干预措施仍是一个悬而未决的问题。我们通过形式化阐明以往关于 Q-learning 合谋的研究中经验观察结果与经典 Simple Penal Codes（SPCs）理论之间的联系，弥补了这一空白。我们证明，任何非平凡 SPC 都会在智能体的策略中诱导出可量化的条件依赖性，这种依赖性可以通过比较合作历史和背叛历史下智能体动作分布的总变差距离来检测。在此基础上，我们提出 CURB（Collusion Unwinding via Reward shaping and Belief injection），一种奖励塑形框架，在 Q-learning 过程中对这一总变差（TV）距离信号施加惩罚，并且能够保证将动力学中的任意 SPC 固定点转化为平凡固定点，从而排除由惩罚威胁维持的合谋均衡。在 Bertrand 和 Cournot Competition Repeated Games 中，CURB 均能显著减少 Q-learning 智能体的合谋。我们进一步证明，CURB 可以扩展到 Bertrand 竞争中的深度 Q 网络智能体，这表明该机制能够推广到表格型 Q-learning 之外。