通过 Federated Learning 实现 Split Computing 的无监督头部网络个性化

arXiv:2610.27952v1 公告类型：新 摘要：Split Computing（SC）是一种分布式推理方法，旨在通过将神经网络划分为头部网络和尾部网络，并分别部署在移动设备和服务器上，实现计算负载均衡并降低延迟。由于移动设备的带宽和计算能力有限，头部网络通常会被替换为所需计算和通信资源更少的神经网络。然而，在移动设备端准备数量和质量都足够的标注数据，以训练替代头部网络，是一项具有挑战性的工作。此外，移动用户准备的数据通常包含敏感隐私信息，使得数据聚合变得困难。本文提出了一种面向 SC 的数据高效头部网络训练方法。该方法利用联邦学习和知识蒸馏，使用移动设备中的少量非独立同分布（non-IID）无标注数据训练头部网络，同时确保训练数据集不会被暴露。此外，通过引入个性化机制，我们将准确率提升至与现有方法相当或更高的水平。实验评估表明，尽管仅对我们的方法施加了数据限制，其准确率仍与基线方法相当。此外，该方法还将移动设备上的通信需求显著降低了 95%，而相较于原始模型，准确率仅下降 3–5 个百分点。