线性二次型调节器的标量联邦学习

arXiv:2604.05088v2 公告类型：replace-cross 摘要：我们提出了 ScalarFedLQR，这是一种通信高效的联邦算法，用于在合作智能体的线性二次型调节器（LQR）控制中以无模型方式学习共同策略。该方法基于一种分解式投影梯度机制，每个智能体仅需传输局部零阶梯度估计的一个标量投影。服务器聚合这些标量消息，以重构全局下降方向，从而将每个智能体的上行通信量从 O(d) 降至 O(1)，且与策略维度无关。关键在于，投影引入的近似误差会随着参与智能体数量的增加而减小，从而产生有利的缩放规律：更大规模的智能体群体能够实现更精确的梯度恢复、使用更大的步长，并在高维情况下实现更快的线性收敛。在同质智能体满足标准正则性条件时，所有迭代点始终保持稳定，平均 LQR 代价以线性速度下降。数值结果表明，即使对于异质但相似的智能体，该方法也能以显著更低的通信开销，取得与全梯度联邦 LQR 相当的性能。