SafeDiSTL：通过分解联合约束实现安全多智能体强化学习

协作式多智能体任务通常会对共享目标或集体安全施加约束。团队层面的违规成本函数可以衡量约束违反情况，但无法区分哪些智能体的动作对违规的影响最大。我们提出 SafeDiSTL，这是一种受约束的多智能体强化学习框架，即使仅有联合约束的测量结果，也能进行贡献分配。我们使用信号时序逻辑（STL）鲁棒度，通过运行最大值的成本增量来衡量回合层面的违规程度。平滑的完整回合鲁棒度和可微动力学提供动作敏感度，用于将每个成本增量分配给同一决策时刻的各个智能体。这些敏感度在对各智能体应分担的成本增量进行加权时，会考虑延迟效应。我们在协作载荷运输、连通导航和联网交通控制任务中研究了该框架。与受约束基线相比，SafeDiSTL 在运输任务中的安全成功率达到基线的 1.6–5.1 倍，在导航任务中的安全成功率提高了 11.1%，在交通任务中的吞吐量提高了 50–68%。结果表明，所学策略在处理共享约束方面取得了显著改进，同时保留了无约束策略的性能。