Prefix Sliding：高效的测试时扩展

测试时扩展使用额外的测试时计算来提升性能，例如让语言模型在解决问题时进行更长时间的推理。由于模型通过完整注意力机制将整个推理轨迹保存在内存中，那些需要长时间思考的困难任务可能会带来高昂的成本。然而，我们发现，随着模型持续推理，大多数中间推理 token 会逐渐失去重要性。这就引出了一个问题：保留它们是否值得付出这样的成本。基于这一洞察，我们提出 Prefix Sliding，它会在推理过程中丢弃那些不属于前缀或最近几千个 token 窗口的 token。前缀包含模型可用的关键指令和工具，而最新的 token 则是模型当前正在处理的推理内容。这样，无论模型推理多长时间，总内存需求都被限制住了，从而能够高效地进行长跨度的测试时扩展。在无需训练的情况下，Prefix Sliding 可以让现有模型快 3 倍，同时保持性能。使用强化学习配合 Prefix Sliding 进行训练，可以通过支持扩展到超过十万个 token 的推理轨迹而实现更好的性能。消融实验表明，Prefix Sliding 的表现优于对中间 token 进行摘要或普通的滑动窗口方法。我们的代码见 https://github.com/Muennighoff/prefix-sliding