同态优势算子：在全同态加密约束下稳定强化学习

隐私保护机器学习为处理机密数据的智能系统在云端部署带来了重大挑战。全同态加密（FHE）为安全计算提供了一种极具吸引力的解决方案，可在云端计算过程中保护数据机密性。然而，将 FHE 应用于强化学习（RL）需要用多项式近似替代非线性运算，而这会因一种独特的递归误差现象——称为 Bellman 漂移——而发生灾难性发散。本文提出 Homomorphic Advantage Operator（HAO），一种旨在防止基于 FHE 的深度 RL 中多项式近似发散的稳定化框架。HAO 将基于优势的价值估计中的零均值中心化投影直接应用于时序差分（TD）目标。该线性投影消除了驱动 Bellman 漂移的统一状态价值基线，同时保持每个状态下的动作排序，无需增加额外的非线性乘法深度，也避免了代价高昂的密文自举。本文采用三级实验方法对所提出的 HAO 框架进行了评估，包括表格型马尔可夫决策过程（MDP）、使用真实 CKKS 加密运算的加密 CartPole 环境，以及包含密集连续特征的 20 节点物流路由基准。结果表明，所提出的 HAO 能够将网络预激活值严格限制在安全的多项式近似域内。在所有使用的随机种子下，所提出的 HAO RL 智能体均实现了 0% 的边界越界率；相比之下，仅采用正则化（L2 权重衰减和梯度裁剪）的方法在 5 个随机种子中的 3 个上越过了边界，而未经稳定化的基线方法在 83.8% 的回合中越界。最后，在表格型领域中，HAO 智能体将最优策略准确率提高了 18.0 个百分点；当向裁剪后的梯度中加入 DP-SGD 风格的高斯噪声时，它们仍能保持稳定。