CoLU：大型语言模型的置信度加权逐层遗忘

arXiv:2610.22721v1 公告类型：cross 摘要：大型语言模型（LLM）遗忘旨在遗忘特定信息，同时保留其他信息，而无需从头开始重新训练。NPO、SimNPO 和 SatImp 等 SoTA 方法通过对整个模型进行微调来平衡遗忘与保留，而 FOM-UL 则探索选择性层更新。已有研究表明，抑制目标信息可能会损害需要保留的知识。即使采用相同的遗忘损失，这种权衡也可能因层而异。在本文中，我们提出置信度加权逐层遗忘（Confidence-Weighted Layerwise Unlearning，CoLU）方法。该方法结合了新颖的置信度加权遗忘正则化与保留正则化，并且在进行遗忘时仅更新单个选定的 transformer 层，而不是整个模型。为降低 CoLU 的计算成本，我们进一步提出简要层筛选（Brief Layer Screening，BLS）方法。该方法利用新定义的归一化遗忘-保留（normalized forgetting-retention，NFR）分数，首先通过使用部分遗忘数据集和更少训练轮次进行简短遗忘试验，对各层进行排序。BLS 会预先选出排名前 k 的层候选，随后使用完整数据分析对这些候选层进行全面评估。实验证明，在性能几乎相同的情况下，BLS 可将 CoLU 的运行时间缩短 60.2%–79.7%。在 TOFU 数据集上，与 NPO、SatImp 和基于 GA 的 FOM-UL 相比，CoLU 在 TOFU 的全部六种设置中都同时提升了遗忘和保留效果；与 SimNPO 相比，则在六种设置中的五种取得提升。在 MUSE Books 和 News 数据集上，在所比较的 SoTA 遗忘方法中，CoLU 实现了最高的保留 KnowMem，以及最接近零的 PrivLeak。截至目前，在大多数设置下，CoLU 在遗忘和保留方面都创下了新的性能纪录。此外，在所测量的设置中，CoLU 的平均 GPU 内存使用量比全模型遗忘低 77.4% 至 79.5%。