用于智能体强化学习中高效压缩的 KV-streams

扩展智能体式 LLMs 的视野长度受到需要将越来越长的上下文轨迹装入 GPU 内存这一需求的瓶颈限制。上下文压缩一直是缓解这一问题最流行的机制，它能在给定轨迹下保持 GPU 内存占用恒定。不幸的是，大多数压缩策略依赖于多次预填充 LLM 上下文，从而阻碍训练吞吐量。为缓解这一瓶颈并实现高效的可训练压缩，我们提出 KV-streams，这是一种即插即用策略，兼容任何压缩策略，能够显著提高吞吐量，同时没有证据表明会妨碍性能。KV-streams 通过向前流式传递 KV cache，而不是在每次压缩后将其清空，从而实现可扩展的压缩。我们展示了 KV-streams 可支持三种不同的压缩策略，在训练中实现 2.6 到 5 倍的实际耗时加速。除效率之外，我们发现流式传递的 KV cache 可以充当循环状态，向前携带早已从上下文中消失的信息。具体而言，在受控设置中，我们表明，与先前工作相反，仅凭 RL 就足以使这种行为涌现。总体而言，我们证明 KV-streams 是对任何后训练流水线的一种高效、轻量的即插即用补充。