追踪并协调多模态模型合并中的跨层影响

多模态模型合并旨在将多个任务专家整合为一个模型，同时保留它们互补的能力。大多数单模态模型合并方法在单个层内组合专家更新，多模态方法基本沿用了这一设计。然而，专家更新会改变传递给后续层的表示，使其影响能够沿深度传播，并影响视觉信息与文本信息的交互。当视觉更新与语言更新被组合时，后续更新所作用的输入已经被先前更新修改，从而使二者的影响相互耦合。这带来了两个挑战：（1）如何刻画单个专家更新在不同深度上的多模态影响；（2）如何依据这些多模态影响联合组合专家更新。为应对这些挑战，我们提出了 TAC-Merge，用于追踪和协调多模态模型合并中的跨层影响。该方法包含两个模块，即多模态影响映射（MIM）和耦合合并控制（CMC）。MIM 构建更新效果图，并结合 Ricci 曲率与专家预测来定义共享融合目标。CMC 对系数调整之间的交互进行建模，并联合优化区域权重，以合成一个共享模型。在多种多模态任务上的实验表明，TAC-Merge 能够有效整合互补的专家能力，并支持向未见任务的泛化。