一种视觉依赖感知的多模态无监督持续后训练框架

本文探讨了一项新颖的多模态无监督持续后训练（MU-CPT）任务，使已部署的 MLLMs 能够从流式未标注数据中持续演化。现有针对 MLLMs 的无监督后训练方法通常对目标 token 进行统一优化，忽视了它们在视觉依赖（VD）上的异质性。然而，我们发现 token 级 VD 对 MU-CPT 至关重要。具体而言，其结构性扭曲可作为跨模态灾难性遗忘的指示器，而其内在异质性则可作为引导新任务学习的罗盘。基于这一特性，我们提出了一个视觉依赖感知（VDA）框架，包含两个主要组件。首先，视觉约束最优传输（VC-OT）将新任务学习过程中旧任务 VD 的结构性扭曲表述为一个最优传输问题，以缓解跨模态遗忘。通过设计区域感知的地面代价和依赖分层的传输惩罚，它在严格禁止视觉依赖退化为语言偏置的同时，防止视觉关注发生全局偏移。其次，视觉调制适应（VMA）利用 VD 的异质性来强调以视觉为基础的新任务学习，从而促进新任务的可塑性。总体而言，我们的方法在具有挑战性的 MU-CPT 过程中同时保持了旧任务的稳定性和新任务的可塑性。大量在 MU-CPT 设置下进行的实验验证了 VDA 的有效性。