从不可靠轨迹中学习：具备对抗鲁棒性的联邦 Q-learning
Learning from Unreliable Trajectories: Adversarially-Robust Federated Q-Learning
精选理由
在对抗性联邦强化学习中兼顾协作效率与鲁棒性，并给出近匹配理论界限。
AI 摘要
arXiv:2610.06918v1 公告类型：新增 摘要：我们研究联邦强化学习问题，其中多个智能体与一个共享的马尔可夫决策过程交互，并通过中央服务器进行通信，以协同学习最优状态—动作价值函数。我们的目标是理解：当部分智能体采取对抗行为并传输任意篡改的信息时，协作所带来的样本效率优势能否得以保留。为解决这一问题，我们提出 Robust Async-Fed-Q，这是一种基于 epoch 的联邦学习算法，将智能体对 Bellman 最优性算子的方差缩减估计与服务器端的鲁棒聚合相结合。我们建立了高概率有限时间保证，表明所提出的方法在容忍对抗性篡改的同时，能够保留诚实智能体之间协作所带来的统计增益。特别地，随着每个诚实智能体收集的数据量增加，对抗智能体的影响逐渐减小，并且在无限样本极限下最终消失。我们还给出了信息论下界，刻画对抗性篡改不可避免的统计代价，从而为具备对抗鲁棒性的联邦强化学习建立了首个近乎匹配的上界与下界。进一步地，我们将该框架扩展到单轨迹马尔可夫采样和异质部分覆盖情形，在这些情形中，不同智能体可能探索状态—动作空间中的不同区域，而学习依赖于它们的集体覆盖。最后，我们基于 epoch 的设计显著改进了异步采样条件下联邦 Q-learning 已知的最佳通信复杂度。