面向联邦 Stackelberg 优化的个性化投影上升

arXiv:2610.21295v1 公告类型：新 摘要：联邦极小极大问题，例如分布鲁棒优化和对抗训练，包含一个由每个客户端本地数据构建的内层最大化变量。这些变量在不同客户端之间的含义和维度各不相同，因此像标准联邦极小极大方法那样在客户端之间对其进行平均是没有意义的。为此，我们研究一种联邦极小极大问题：最小化变量 $\mathbf{x}$ 在客户端之间共享并进行聚合，而每个客户端保留各自的最大化变量 $\mathbf{y}_i$（个性化变量）。由于这些应用会将 $\mathbf{y}_i$ 约束在紧致凸集内，我们直接分析投影上升过程。我们证明，在非凸-凹情形下，这种个性化投影方法能够达到标准的次线性速率。然而，在非凸-PL 情形下，由于随机 $\mathbf{y}_i$ 更新的影响，该方法会遇到与步长无关的噪声下限。为缓解这一问题，我们提出 VR-SGDA，通过让每个客户端维护一个私有变量快照，引入方差缩减上升步骤。在相同样本上计算当前梯度和快照梯度后，在双时间尺度机制下，恒定方差会被渐消漂移所取代。VR-SGDA 消除了噪声下限，在保持个性化和投影操作的同时，实现了次线性的主导速率。在子群体鲁棒性和 NLP 对抗训练上的实验验证了其最差群组鲁棒性收益以及双时间尺度跟踪机制。