GUARD：通过引导式答案-推理蒸馏实现大型推理模型中的自然遗忘

近年来，大型推理模型（LRMs）的快速发展使机器遗忘更具挑战性，因为在生成最终答案之前，受保护事实或不安全的推理过程可能会出现在中间的思维链（CoT）轨迹中。现有的遗忘目标通常会抑制目标内容或重定向内部表征，但从未明确遗忘后的轨迹应如何继续，这可能导致幻觉式替代内容、边界格式错误或重复输出。我们认为，LRM 的遗忘应转而学习一种自然的遗忘轨迹：先生成连贯且不泄露信息的 CoT，再给出稳定的拒答式答案，以替代原始披露内容。为此，我们提出引导式答案-推理蒸馏（Guided Answer-Reasoning Distillation，GUARD），将模型生成的不安全披露转换为安全退出轨迹，通过引导令牌对齐冻结的 LRM，并将引导后的行为蒸馏到模型参数中。为解决除泄露程度之外缺乏替代质量评估指标的问题，我们进一步提出自然遗忘推理分数（Natural Forgetting Reasoning Score，NFRS），用于衡量遗忘输出中的结构稳定性、流畅性和无依据的替代内容。在 R-TOFU 和源自 STAR-1 的有害意图设置上的大量实验表明，GUARD 在保留推理实用性的同时，显著减少了两个广泛采用的蒸馏 LRM 中的不安全披露和隐私披露。代码可在 https://github.com/zeyu-Yan/GUARD 获取