CompactionRL：通过上下文压缩实现长时程智能体的强化学习

arXiv:2607.05378v2 公告类型：替换 摘要：长时程智能体LLM日益受到有限上下文窗口的限制，因为在任务完成前，延长的交互轨迹可能会超过最大上下文长度。上下文压缩通过总结先前的交互状态，并在压缩后的上下文中继续执行轨迹，提供了一种自然的解决方案；然而，将压缩机制融入强化学习仍缺乏充分研究。我们提出CompactionRL，一种利用上下文压缩训练长时程智能体LLM的强化学习策略。我们的方法通过令牌级损失归一化和跨片段广义优势估计，联合优化任务执行与摘要生成。这一设计使LLM智能体能够从经过压缩的长时程轨迹中学习。我们在开源模型上训练CompactionRL，并在智能体编程任务中观察到持续的性能提升。CompactionRL使开源GLM-4.5-Air模型（106B-A12B）在SWE-bench Verified和Terminal-Bench 2.0上分别取得66.4%和26.2%的Pass@1得分；与推理时采用上下文压缩的基础模型相比，分别提升了6.6和4.9个百分点。基于GLM-4.7-Flash（30B-A3B），CompactionRL相较基础模型使Pass@1分别提升5.5和6.7个百分点，在SWE-bench Verified和Terminal-Bench 2.0上分别达到56.0%和20.2%。因此，CompactionRL已部署于强化学习流程中，用于训练开源GLM-5.2模型（750B-A40B）。