存储并非策略：面向 LLM 遗忘的状态条件化支持集控制

arXiv:2609.37858v2 公告类型：替换 摘要：许多局部化的大语言模型（LLM）遗忘方法根据定位信号选取一个小规模参数子集，并在优化过程中将其固定。然而，与目标关联最强的参数未必是最适合更新的参数，而且候选干预的价值可能随优化进程而变化。在一项受控实验中，存储定位得分的受试者工作特征曲线下面积（AUROC）达到 0.981，但按存储位置确定的选择仅在 17/36 个目标上与更优干预一致，而低秩适配（LoRA）在 35/36 个目标上胜出。我们提出 Intervention Score，它在考虑附带损害的同时，依据实际遗忘更新的预测效果对可编辑参数组进行排序，并据此构建静态干预价值基线（Static-IV）。随后，我们提出选择性动态干预重排序（DIR-R），仅当经过校准的探测表明有必要进行比较时，才重新评估该子集。在 Natural-TOFU 数据集上，我们的方法在不同方法与目标函数之间的 20 项比较中，有 19 项呈现正向的描述性差值，尽管其中几项接近于零。在 LACUNA 定位精度基准上，我们的方法在负偏好优化（NPO）和 SimNPO 的全部六项比较中，平均终点效用均更高：NPO 的差值范围为 +0.431 至 +0.848，SimNPO 的差值范围为 +0.503 至 +0.571。梯度差分（GradDiff）目标函数表现出显著的字段依赖性。相较于 Static-IV，主要的四字段 GradDiff 评估取得六胜、六平、零负，配对增益的均值和中位数分别为 +0.165 和 +0.0025。这些证据支持将定位、初始干预选择以及依赖检查点的支持集修订彼此分离。