Monarch-MoE：用于多模态持续指令微调的结构化专家

arXiv:2610.13215v1 公告类型：新投稿 摘要：在多模态持续指令微调中，学习新任务可能导致对先前所获知识的灾难性遗忘。尽管多专家 LoRA 将学习分散到多个专家中，但对稠密低秩专家的更新仍可能影响许多输出特征。我们提出 Monarch-MoE，将 LoRA 专家中的稠密因子替换为通过固定置换连接的块对角因子。这种结构提供了分块梯度隔离：对单个块对的更新仅影响一个输出块，同时保持所有输入块与输出块之间的连接。为了使这些紧凑的专家能够在显存受限的硬件上切实使用，我们结合了批量计算、融合前向算子和优化的反向传播过程。我们使用 LLaVA-1.5-7B，在 MLLM-DCL 和 UCIT 上评估了三种持续学习方法；Monarch-MoE 提高了首个任务的知识保留能力，同时将适配器参数量分别减少约 75% 和 50%。在主要对比中，MLLM-DCL 上首个任务的遗忘幅度低至 0.52 个百分点，UCIT 上则低至 0.10 个百分点，而最终性能上的权衡因方法而异。我们的实现支持在单张 24 GB RTX 4090 上进行微调和推理，在所评估的设置下，实测显存占用更低，运行时间也具有竞争力。这些算法和系统层面的改进共同使结构化专家成为在显存受限硬件上进行持续适应的实用选择。