REDaCT：大型推理模型中的无崩溃遗忘

arXiv:2610.12769v1 公告类型：新论文 摘要：大型推理模型（LRMs）中的遗忘要求同时从推理轨迹和最终答案中移除遗忘集信息。现有方法以推理崩溃为代价实现这一目标，即模型无法生成连贯的思维链（CoT），也无法正常终止其推理过程。为应对这一挑战，我们提出 REDaCT（REgenerate via Detection and Corrective Tuning），一个面向 LRMs 的推理时遗忘框架。REDaCT 由两个关键组件构成：（1）一个二元泄露检测器，用于识别推理轨迹中泄露遗忘集信息的句子；（2）一个嵌入优化模块，通过离线学习获得纠正嵌入，在推理过程中首次检测到泄露时注入该嵌入，从而引导后续推理生成不泄露遗忘集信息的句子。实验结果表明，REDaCT 完全避免了推理崩溃，与最先进的遗忘方法相比，大幅提升了推理能力的保留程度，同时实现了完全的答案遗忘和近乎完全的 CoT 遗忘。我们的代码已公开：https://github.com/jmaccoby/redact。