RA$^2$：保留锚定吸引在 LLM 遗忘中维持遗忘邻域效用

arXiv:2610.19385v1 公告类型：新论文 摘要：大语言模型（LLM）遗忘通常主要通过目标抑制效果和干净保留数据上的效用来评估。这些指标可能忽略一种局部失效模式：模型在标准保留提示上表现良好，但当提示接近被遗忘领域时，其无害推理能力却可能下降。这种现象被称为遗忘邻域效用损失。一个根本问题是：遗忘表征脱离被移除的行为后，应当去往何处？成功的遗忘不仅取决于以遗忘内容为条件的表征是否脱离有害计算，还取决于这些表征随后被引导的方向。我们提出 RA$^2$（Retain-Anchored Attraction），这是一种潜在空间遗忘方法，将待遗忘词元的状态重新引导至附近由保留数据支持的表征，同时维持模型在保留数据上的高层行为。在 WMDP 和 MUSE 上，RA$^2$ 在整体效用水平相近的情况下，实现了比强效遗忘基线更高的遗忘邻域效用。这些结果表明，遗忘表征的迁移方向会显著影响遗忘边界附近的无害行为。我们的代码已发布于 https://github.com/ZacLing/retain_anchored_attraction。