从任务混合到专用专家

arXiv:2610.00580v1 公告类型：新 摘要：在协作式基础模型微调中，客户端数据很少是同质的。相反，客户端通常拥有由不同数据分布（即任务）构成的未知混合。传统联邦学习主要处理客户端之间的异质性，却没有明确解决每个客户端内部潜在的任务混合问题。我们将这一情形称为复合异质性，即数据在客户端之间以及客户端内部都具有异质性。我们研究了基于共享冻结表示的适应，并表明，当任务具有相同的特征几何结构时，在平方损失下，针对客户端任务混合的最优模型是其底层任务最优模型的凸组合。因此，单个本地训练模型代表客户端的整体任务混合，而单个输入可能来自不同的底层任务分布。这促使我们将输入路由至专用专家；我们还表明，当任务最优解构成一个单纯形时，对于真正包含混合任务的客户端，与使用任何单一适应模型相比，任务对齐的路由能够实现更低的风险。在拥有少量带任务标签的公共样本的情况下，我们推导出一个凸优化程序，用于恢复任务专家并将其与对应任务匹配。我们的路由分析表明，有效的专门化需要依赖输入的专家选择，并与每个客户端的任务混合相一致。受这一分析启发，我们提出了 FedSEE。在所有实验中，FedSEE 避免了所评估基线中观察到的负迁移，整体性能提升了 2.9 个百分点，对于表现最差的四分位客户端，性能提升了 3.7 个百分点。