联邦多模态图基础模型中的感知与推理耦合

arXiv:2610.00277v1 发布类型：new 摘要：联邦多模态图基础模型（GFM）旨在将预训练多模态模型适配到去中心化的图数据上，其中每个客户端拥有一个私有多模态图，且无法共享原始信息。这些模型通常结合多模态 Encoder（从异构模态中提取语义证据）和图神经网络（GNN）（在图结构上执行关系推理）。然而，现有的联邦 GFM 适配方法主要更新图侧模块，同时冻结多模态 Encoder，将适配限制在\emph{信息如何传播}，而固定了\emph{提取什么信息}。通过实证研究，我们发现 Encoder 与 GNN 的适配并非相互独立：Encoder 的适配会受到图关系的影响；此外，跨客户端的模块交换表明，分别参数化的 Encoder 和 GNN 更新之间存在显著的配对敏感性。受此观察启发，我们提出了 \textbf{FedCORE}，一种通过共享的低维潜在状态来表示 Encoder 和 GNN 更新的联邦适配框架。FedCORE 从多模态信号和结构信号中联合优化这一核心状态，并直接在共享状态空间中执行联邦演化，从而保持感知适配与推理适配之间的兼容性。大量实验表明，FedCORE 将 Encoder--GNN 配对差距从 $30.6$ 降至 $5.9$，相较于独立联合适配降低了 $80.7\%$。