OmniMed-FL：用于临床诊断的鲁棒多模态联邦学习框架

临床诊断通常需要同时评估医学影像和患者记录。然而，标准机器学习算法无法对这两类数据进行联合分析。同时，遵守 HIPAA 和 GDPR 可能会限制对敏感患者数据进行集中式聚合。这造成了一个关键空缺：如何在相互远离的网络之间安全融合视觉与文本语境。因此，我们提出 OmniMed-FL，这是一项针对多模态联邦学习的受控系统研究，用于五分类临床状况分类（正常、肺炎、COVID-19、胸腔积液、心脏扩大）。我们的代理语料库将 3,000 张公开胸部 X 光片与 3,000 条按类别条件生成的合成记录配对，这些配对按类别匹配，而非按患者匹配。该框架在 3 至 20 个医院客户端、采用非独立同分布 Dirichlet 划分的条件下，对八种融合策略、三种初始化方法、四种缺失文本插补规则以及相匹配的联邦基线进行了基准测试。由于所有记录均为合成数据，且配对并非患者级别，因此这些结果只是描述性的代理比较，并非对诊断性能或部署就绪度的估计。在这些限制条件下，当客户端数为 $K=5$ 且数据严重偏斜（$α=0.1$）时，仅本地训练取得 0.297 的宏 F1 分数，FedAvg 达到 $0.662\pm0.074$，FedProx 达到 $0.737\pm0.085$，相匹配的 FedMME 风格单次集成为 $0.647\pm0.080$，而我们的 SCAFFOLD-AdamW 改进方法为 $0.070\pm0.015$；FedProx 与 FedAvg 之间 0.075 的差距处于两个双随机种子标准差中较大者的范围内。在一个 $4\times3$ 的网格实验中，标签偏斜带来的 F1 损失最高达 0.27，而客户端数量接近增加七倍所带来的损失最多为 0.10；与此同时，双向通信量随客户端数线性增长，在 $K=20$ 时达到 183.5 GiB。多模态融合在两个语料库上均表现最佳：在合成语料库上得分为 0.956，而文本和图像分别为 0.934 和 0.664；在 X 光片语料库上则为 0.906，而文本和图像分别为 0.880 和 0.737，其模型状态大小是仅使用文本时的 $2.3\times$。