面向长程 LLM 智能体的基于智能体软词元的模型内上下文压缩

arXiv:2610.41291v1 公告类型：交叉发布 摘要：长程 LLM 智能体在解决复杂且持续的任务方面发挥着重要作用，其交互上下文也不断增长。然而，这些累积的上下文会带来高昂的计算成本，并掩盖与决策相关的关键证据。现有方法通常训练外部压缩器或上下文管理智能体，将上下文改写为更短的硬词元序列，但这种外部筛选可能与 LLM 不断演变的表征不一致，而且必然会造成信息损失。本文提出 Agentic Soft-Token Compression（ASTC），这是一种无需训练的压缩方法，在 LLM 智能体内部使用软词元来处理长程任务。具体而言，ASTC 借助常用的混合式 Gated Delta Network（GDN）与注意力架构，利用模型原生的循环动态机制确定已被吸收的信息。随后，它以智能体软词元的形式将这些信息向后传递，同时以硬词元保留精确值。由此得到的紧凑序列减少了后续层的计算量，并生成可复用的 KV 缓存，从而将计算节省延伸至智能体的整个执行轨迹。在长程任务上的大量实验表明，ASTC 在端到端注意力对数量最多减少 50.68% 的情况下，准确率达到或超过未经压缩的智能体，而经训练的压缩器每成功完成一项任务所需的注意力对数量则为 ASTC 的 15.4 至 103.7 倍。这些发现凸显了智能体软词元的价值：它们提供了一种模型原生的方式，可随着任务表征的演变，将已吸收的上下文持续向后传递。