架构依赖的融合路径

arXiv:2610.03289v1 公告类型：新 摘要：多模态大语言模型（MLLMs）在视觉-语言任务中取得了出色的性能，但视觉信息与文本信息如何跨层融合，其内部机制仍未得到充分理解。我们研究了两种架构范式下具有代表性的 MLLMs：拼接架构和原生多模态架构。我们开展了三项逐步关联的分析：对齐解耦用于识别发生变化的模态，注意力路由与熵用于刻画跨模态信息的分布方式，内在维度用于考察融合如何重塑特征空间。此外，我们分别开展了因果干预实验，以验证所得解释。作为补充分析，我们使用视觉 CKA 考察 Platonic Representation Hypothesis。这些分析共同揭示了两种不同的融合路径：拼接模型遵循先文本、后视觉的路径，而原生模型则表现出更早的视觉-文本协同适应与特征空间重组。该工作为理解多模态融合提供了机制性视角，并支持面向架构的多模态表征诊断。