HE-OFT：同态加密下保护隐私的单轮联邦微调

arXiv:2610.08255v1 公告类型：cross 摘要：许多组织通过在私有数据上进行微调，将大型预训练模型适配到自身任务。多个此类参与方通常持有同一任务的数据，并希望共同微调模型，而不汇总这些数据。联邦学习（FL）支持联合微调，但对共享中间值（模型或其梯度）的重构攻击仍构成隐私风险。只交换一次加密贡献的一轮协议不会暴露任何中间值。然而，这种协议仍会将训练后的模型提供给每个参与方；当模型属于受监管资产或专有资产时，这是不被允许的。我们提出 HE-OFT，这是首个密码学安全的单轮联邦微调协议，在该协议中任何参与方都无法获得训练后的模型。每个客户端在冻结的公共骨干网络上微调一个低秩适配器和一个分类头，并保留该适配器。客户端上传一次加密的分类头位移，服务器使用多方 CKKS 对其进行组合，且从不解密。客户端法定人数仅向查询方返回预测标签。在四项文本分类任务和一项视觉任务上，HE-OFT 达到 61% 至 79% 的准确率，而客户端单独训练时为 20% 至 48%。HE-OFT 保留了公开模型 85% 至 96% 的准确率。单核上，一次测试时查询耗时 443.1 至 1713.1 秒；在 GPU 上进行层级恢复时，耗时为 56.1 至 255.1 秒。在服务器端恢复层级，可将每次查询的流量从最高 1.6 GiB 降至 13.5 MiB。