KV-Rescue：通过逐步交错恢复推理语言模型的 KV 驱逐损失

KV-cache 驱逐限制了长推理轨迹的内存成本，但其本质上是有损的，因为模型是在对自身历史的部分视图下进行解码。在激进的预算下，这不仅会降低准确率，还可能导致失控式退化，即模型不断生成不连贯或重复的 token，直到达到长度上限。我们将这种损失中的很大一部分归因于缺失上下文造成的信息缺口，而不是模型容量受限造成的能力缺口。一个经过驱逐的 7B 模型和一个全上下文 1.5B 模型会产生互补的错误，而在二者答案之间进行 oracle 选择，可以恢复相对于全 KV 7B 模型的准确率差距的 79%。基于这一观察，我们提出 KV-Rescue，这是一个无需训练的推理框架，使用轻量级全上下文辅助模型来弥合 KV 驱逐引入的信息缺口。KV-Rescue 将两个模型的推理步骤交错到一条共享轨迹中。一个在线检测器利用熵和可压缩性，提前终止不连贯或重复的基础模型候选生成。在使用 Qwen2.5-Math 7B 和 72B 的五个数学基准上，当驱逐预算 B=64 时，KV-Rescue 平均恢复了因驱逐而损失的准确率的 87%。进一步的解码成本分析表明，防止失控式退化平均可减少 43% 的基础模型 token 生成。