别给自己打折：面向客户端掉线场景的 Self-inclusive Freshness-weighted Gossip 去中心化学习

arXiv:2610.28545v1 公告类型：new 摘要：去中心化联邦学习（DFL）在设备上训练个性化模型，这些设备与邻居进行平均，而不是与中央服务器进行平均。然而，现实中的设备经常离线数小时或数天，客户端从掉线状态恢复后，只能聚合其邻域中保存的模型。我们观察到，这些模型中最陈旧的通常是客户端自身的模型，而现有的感知陈旧度规则只对客户端接收到的模型进行折扣处理，无法应对这种情况。我们将掉线后的聚合形式化为对一个完全可用网络状态的估计，并推导出三个原则。第一，接收方必须像任何邻居一样被折扣处理。任何让接收方获得的权重至少与每个邻居相同的规则，其误差都会随着掉线时长增加而无界增长；而按照相对陈旧度对所有候选模型进行折扣，则可以使误差保持有界。第二，陈旧度必须被衡量为继承的滞后，而不是年龄，因为本地训练会重置模型的年龄，却不会重置其从陈旧邻居那里吸收的滞后。我们引入了有效滞后，用每条消息额外占用一个标量的代价来跟踪这一量。第三，折扣必须足够陡峭，因为吸收的滞后会在之后的每一轮中持续存在。这些原则定义了 Self-inclusive Freshness-weighted Gossip（SFG），这是一个可直接替换的聚合规则系列，其通信和计算开销与去中心化联邦平均相同，并且其保证也适用于陈旧的接收方自身。在三个图像基准和八种掉线过程中（包括真实的智能手机可用性轨迹）进行的实验中，基于滞后的 SFG-L 和 SFG-Cut 始终优于去中心化联邦平均方法以及近期的 information age 规则；消融实验表明，每项原则都是必要的。该分析还解释了为什么 gossip learning 中经过调优的 limited merging 是有效的。