SPEAR：一种采用谱解耦和知识引导专家聚合的 MoE 神经算子，用于大规模 PDE 预训练
SPEAR: A Spectral-Disentangled MoE Neural Operator with Knowledge-Guided Expert Aggregation for Large-Scale PDE Pretraining
精选理由
SPEAR以频谱解耦和专家聚合提升PDE模型泛化，专家数减少50%
AI 摘要
大规模预训练提升了神经算子在多种 PDE 上的泛化能力。然而，现有的 PDE 基础模型在处理异质动力学方面仍面临挑战，因为共享表示可能导致知识干扰，而混合专家（MoE）架构则面临专家冗余不断增加的问题。我们提出 SPEAR，一种采用谱解耦和知识引导专家聚合的 MoE 神经算子，用于大规模 PDE 预训练。SPEAR 将潜在特征解耦为低频和高频成分，从而实现对可迁移动力学的共享建模，以及对特定 PDE 模式的专门学习。为解决专家冗余问题，我们设计了一种知识引导的专家聚合策略，从数据集特定的已学习知识和路由偏好两个方面衡量专家相似性，从而识别并合并相似专家。在十二个 PDE 数据集和多个下游基准上的实验表明，该方法在预训练、微调和迁移学习中均取得了更优性能。此外，我们的聚合策略将专家数量减少了 50\%，同时保持或提升了预测准确率，在 PDE 基础模型的模型效率与泛化能力之间实现了平衡。