学习如何在记忆化-泛化谱系中支配遗忘
How Learning Governs Unlearning across the Memorization-Generalization Spectrum
精选理由
揭示学习方式如何影响机器遗忘效果，为降低保留能力损伤提供方法依据。
AI 摘要
arXiv:2610.08577v1 Announce Type: new 摘要：尽管遗忘旨在抵消模型通过学习获得的不良能力，但很少有研究考察模型的学习方式如何塑造其后续遗忘过程。本文从记忆化和泛化这两个模型在训练中采用的最具代表性但彼此竞争的策略出发，研究二者之间的联系。我们首先利用模块化加法中的 grokking，对偏重记忆化和偏重泛化的模型进行分类，并比较它们对遗忘的响应，结果表明，后者会遭受更严重的保留损害，即保留集上的性能下降幅度更大。进一步地，我们通过引入分桶模块化加法开展更细粒度的分析，在这种设置中，可以沿记忆化-泛化谱系显式控制这两种策略各自的贡献。在该设置下，我们再次确认这一趋势依然存在，并且几乎呈单调变化。我们进一步证明，在逐字回忆和事实回忆场景下的 LLM 遗忘中，这种关系同样成立。最后，我们为开发更优的遗忘方法提供了两点实践性启示，强调在遗忘过程中考虑学习动态的重要性。