文字先于像素：面向视觉语言模型遗忘的选择性模态路由

视觉语言模型（VLM）遗忘通常被视为一个目标设计问题：给定多模态遗忘数据，目标是优化一个损失函数，在消除不良行为的同时保留原有能力。我们认为，这一观点忽视了一个同样重要的、以数据为中心的问题：在优化之前，应如何表示每个待遗忘样本？现有方法通常将以图像为条件的失败样本保留为原始的图文形式，隐含地假设只要输入中出现像素，像素就是实现遗忘的正确路径。我们通过构建 VLM 基准的模态分解版本来质疑这一假设，从而能够对同一样本的纯图像、纯文本和多模态表示进行受控比较。我们的模态混合实验表明，与仅使用图像相比，通过文本表示能够更有效地抑制不安全的指令遵循行为；但当目标行为依赖视觉证据时，完全采用纯文本进行遗忘仍可能削弱视觉定位与关联能力。基于这一权衡，我们提出了 ModRoute，这是一种由梯度引导的逐样本模态路由策略，可选择性地将视觉压力较高的样本转换为纯文本形式，同时使其余样本保持多模态形式。值得注意的是，在 VLGuard 上使用 LLaVA-1.5-7B 时，ModRoute 在 $γ=0.5$ 下取得了最高的遗忘效果与效用综合得分 0.847，比最佳随机切换得分高出 2.5%，并且比纯多模态遗忘或纯文本遗忘高出 $\geq$46%。总体而言，我们的结果表明，有效的 VLM 遗忘不仅取决于目标函数，还取决于遗忘数据的构成及其逐样本模态路由。