基准测试出人意料地适合上下文压缩

arXiv:2610.31778v1 公告类型：new 摘要：长时程智能体任务如今正将 LLM 智能体推过其上下文窗口的限制。为了继续执行任务，智能体脚手架必须释放上下文窗口，这一过程称为上下文压缩。上下文压缩通常从设计上就是有损的：智能体可能会悄无声息地丢失任务约束、指令，或早先决策背后的推理过程。尽管上下文压缩是编码智能体脚手架的标准组件，但此前尚未在真实、长时程的智能体任务上，使用前沿模型对其进行系统研究。以往工作是在玩具式或合成的轨迹上评估较小的开放权重模型。我们固定使用智能体脚手架 OpenCode，在其中实现五种上下文压缩策略，并在三个长时程基准测试（PaperBench、ProgramBench、PostTrainBench）上评估三种前沿模型。对于两种拥有 1M 上下文的模型，上下文压缩阈值不会对任务表现产生可测量的影响；而 GPT-5.3-Codex 的上下文窗口最小，在 PaperBench 上使用较低阈值时表现更差，在 PostTrainBench 上也呈现出这一趋势，但不太明显。没有任何上下文压缩方法优于默认的自我总结；而丢弃更多内容的方法会使某些模型的得分最多降低 20 分，同时对其他模型没有影响。然而，上下文压缩可能会悄无声息地移除任务约束：在 ProgramBench 上，仅第一次压缩生成的摘要平均就会丢失约三分之一的任务反作弊规则，而且随着压缩次数增加，这一比例会单调上升。在来自 SWE-chat 的真实用户—智能体会话中，有关智能体应如何工作以及不应做什么的指令，其丢失数量约为关于应构建什么的规格说明的 6 倍。我们认为，当前的基准测试对上下文压缩较为友好：也就是说，目标是固定的，智能体的进展会保存在磁盘上，因此上下文压缩丢弃的大部分内容都可以恢复，唯一例外是那些在其他任何地方都不存在的约束。