仅遗忘重要内容：面向鲁棒 LLMs 的层选择性遗忘

大型语言模型（LLMs）可能记忆并复现敏感、受版权保护或其他不宜出现的训练内容，从而引发隐私、安全和监管方面的担忧。机器遗忘为完全重新训练提供了一种切实可行的替代方案，但许多现有方法采用宽泛或固定的参数更新，可能损害模型效用，并且在部署环境发生变化时表现脆弱，例如训练后量化可能导致已遗忘知识部分重新出现。我们提出通过遗忘层实现仅遗忘重要内容（Forgetting Only What Matters via Unlearning Layers，FOM-UL），这是一种基于层级的遗忘框架，利用遗忘-保留显著性评分选择 Transformer 层。该评分能够识别对遗忘集影响较大且对保留集敏感度较低的层，使 FOM-UL 将更新集中在最有效的位置，同时保持模型的大部分参数不变。这种针对性更新策略改善了遗忘与效用之间的权衡，并通过降低小幅、分散式更新被低比特舍入抹除的可能性，为实现抗量化遗忘提供了实证路径。在 TOFU、KnowUnDo 和 MUSE 风格的评估中，与基于 GA、NPO、KLD、SURE、ReLearn 和 LUNAR 的强基线方法相比，FOM-UL 在保持接近原始模型的保留集效用的同时，减少了残余记忆。在 8 位和 4 位训练后量化条件下，FOM-UL 比竞争方法更能保持对记忆的抑制效果和效用保留能力；对抗性提示词评估也显示，其对已遗忘内容的恢复程度更低。总体而言，FOM-UL 提供了一种高效的遗忘策略，在不声称具备遗忘形式化保证的前提下，提升了针对性遗忘、效用保留和部署鲁棒性。