ReFold：面向长程智能体的免训练可逆轮次间上下文折叠

arXiv:2610.07863v1 公告类型：交叉收录 摘要：长程 LLM 智能体基于仅追加的交互历史执行操作，而这些历史在每一步都会重新发送给模型，因此上下文及其成本会随步数增加而增长，直至会话超出上下文窗口。现有方法通过预测上下文需求来管理上下文，依赖额外的模型调用、启发式规则或经过训练的策略。然而，这些预测式方法会引入运行时开销，使前缀缓存失效，并永久丢弃内容，无法保证恢复。为克服这些局限，我们提出 ReFold：一种免训练的渲染层，在保留底层交互历史的同时，仅压缩呈现给模型的上下文。它无需辅助预测器，即可消除两类轮次间冗余：将先前轮次已展示的内容替换为占位标记，以及将智能体自行报告已完成的轮次折叠为一行备注。这两种操作均采用分块渲染，每隔几步才重写一次缓存的前缀，而非每一步都重写。每次移除都严格可逆，错误移除的代价仅是从历史中恢复一次，而非永久丢失内容。由于作用于渲染层，ReFold 可在标准的 ReAct 风格智能体运行框架中即插即用。在五个长程基准和两个前沿 LLM 上的评估表明，ReFold 可将 token 消耗量降至原来的 1/2.5，并将每个会话的 KV 缓存内存占用减半，同时不降低任务成功率。在上下文预算受限时，它最多可避免 92% 的强制压缩。在并发服务负载下，它最多可减少 100% 的请求排队延迟，将推理速度提升至原来的 1.7 倍，同时将推理成本降至原来的 1/3.4。