Cordial Learning：使用相关数据的分布式训练

arXiv:2610.03330v1 发布类型：新 摘要：我们研究一种由拥有相关数据的智能体参与的分布式学习任务。具体而言，对于同一个样本，一个智能体的标签取决于其他智能体的输入，而这些输入之间也存在相关性。当智能体共享同一环境时，相关数据是现实情况。现有的去中心化方法（如联邦学习）忽略了问题的结构，在相关数据上表现不佳。另一方面，受隐私和通信约束的影响，集中式方法难以实现。为弥合这一差距，我们引入 cordial（相关且分布式）学习：智能体之间仅共享低维输出，同时训练本地模型，从其他智能体处提取有信息的信号。这种分布式学习形成了一个博弈，其中每个智能体的损失函数都取决于其他智能体的模型。在假设采用线性模型的情况下，我们证明，尽管全局目标函数是非凸的，cordial 学习仍以概率 1 收敛到全局最优解。在结构化多位数 MNIST 任务上的实验表明，即使在高度非线性的场景中，cordial 学习依然非常有效。