谁承担负担？在多智能体强化学习中学习共享约束的责任
Who Bears the Burden? Learning Responsibility for Shared Constraints in Multi-Agent Reinforcement Learning
精选理由
LiRA学习责任分配，提升多智能体协作福利并减少约束违规。
AI 摘要
arXiv:2610.07491v1 公告类型：新 摘要：当多个智能体共享一个成本预算时，共同的拉格朗日乘子可以约束总量约束，但无法确定应如何在各智能体之间分配其惩罚。统一惩罚忽略了各智能体在奖励方面所作牺牲的异质性，而智能体特定的乘子仍可能依赖同一个总成本信号。我们提出 Lagrangian Responsibility Allocation (LiRA)，通过在有限训练时域内优化社会福利，学习每个智能体在共享乘子中的分担比例。该乘子负责约束总预算，而责任分担比例则重新分配其影响，同时不修改原始奖励或约束。在满足标准正则条件的凸博弈中，改变这些分担比例会诱导出一族光滑的归一化广义纳什均衡，其中活跃约束仍保持在其预算水平，而福利则随之变化。为了在收敛前优化责任分配，我们推导出一种福利梯度，同时考虑学习更新以及由此引起的数据分布变化。在涵盖 3 至 400 个智能体的 CityLearn、MABIM、Harvest 和 MetaDrive 中，与统一乘子和智能体特定乘子基线相比，LiRA 将平均社会福利最多提高了 29%。电网和驾驶成本均保持在预算以内，库存违规减少，且 Harvest 能够更有效地利用可用预算。