SIEVE：面向视觉语言模型遗忘的选择性注意力值抑制

arXiv:2610.01962v1 公告类型：新 摘要：视觉语言模型（VLMs）能够将视觉身份与传记信息相关联，因此需要在保留关于同一人物的获准知识的同时，有选择地遗忘个人可识别信息（PII）。这一场景颇具挑战性，因为敏感信息和保留信息可能共享相同的视觉输入与中间表征。我们提出了 SIEVE，一种简单且有效的选择性 VLM 遗忘框架。SIEVE 在控制模型输出的同时，直接对注意力值表征进行正则化。对于遗忘样本，SIEVE 将注意力值抑制至常数零；对于保留样本，则通过将其表征匹配到冻结的参考模型来加以保留。这些目标与序列级别的遗忘和保留监督相结合，从而实现有针对性的遗忘，同时不会大幅影响保留知识。大量实验表明，在多种模型-模态设置下，SIEVE 在遗忘任务上取得了最先进的性能，同时保持了具有竞争力的保留效用。消融实验进一步表明，值抑制与负交叉熵能够提供互补的遗忘信号，而基于参考模型的值匹配则能显著减轻效用下降。这些结果表明，当敏感知识与保留知识密切相关时，注意力值可以作为选择性多模态遗忘的有效干预点。