强者助弱者：多模态大语言模型中的方向性跨模态对齐迁移

多模态大语言模型（MLLMs）通过将大语言模型（LLM）与视觉、视频或音频等目标模态的编码器相结合，实现了强大的模态理解能力。然而，要提升 MLLM 对特定模态的能力，通常需要在大规模模态专属数据集上进行额外训练，从而产生高昂的数据收集和计算成本。模型合并提供了另一种选择，但对于数据稀缺、单样本规模较大或具有领域特定性的模态（例如音频和视频）而言，模型合并通常难以实现，因为同模态的模型变体很少可用。在本文中，我们刻画了一种有趣的不对称现象：将一个对齐良好且数据丰富的源模态 MLLM 合并到一个数据稀缺的目标模态 MLLM 中，可以在目标模态自身的基准测试上显著提升其性能。我们的理论与实证分析表明，这种增益源于模态特定词元与文本词元之间对齐程度的提升，而这种提升由更强的供体模态所诱导。具体而言，我们推导出一个关于互信息的下界，该下界随对齐相关量单调变化，并且与下游 MLLM 性能高度相关。基于这一原理，我们提出了方向性跨模态对齐迁移（DCAT），这是一种新型框架，可将强大且对齐良好的源（供体）模态中的文本对齐迁移到较弱的目标（接收方）模态，在无需进一步微调的情况下提升目标模态的性能。我们进一步表明，这一增强对齐的目标函数存在一个闭式权重空间解，仅需利用一个小规模校准集即可计算得到。DCAT 的性能优于现有模型合并方法，为跨模态对齐迁移提供了一条高效路径。包含代码的项目主页见 \url{https://seohoiki3215.github.io/DCAT_project_page}。