ConvMem：用于长上下文推理的卷积记忆

尽管大型语言模型（LLMs）展现出了令人印象深刻的能力，但由于固定的上下文限制，它们通常难以处理极长上下文。为解决这一问题，MemAgent 等序列式方法通过分段读取文本并迭代更新固定大小的记忆，扩展了有效上下文。然而，这种序列范式存在延迟高的问题，并且需要代价高昂的强化学习（RL）训练，可能导致模型在特定数据集上过拟合。为克服这些局限，我们提出了 ConvMem，这是一种无需训练且高度可并行化的框架，将长上下文推理重新表述为层次化卷积。受 CNNs 启发，ConvMem 将一个由特定查询提示的 LLM 视为卷积核。该卷积核以层次化方式总结文本片段，将推理路径从线性链缩短为对数级树结构。具体而言，ConvMem 集成了 Configurable Strides 和 Skip Connections，以确保可靠地捕获和传播证据；同时采用 Multi-Kernel Convolution，将复杂查询分解为相互解耦的语义通道。这一设计不仅缓解了错误累积，还实现了跨文本片段和推理线程的大规模并行化。在 RULER-HotpotQA 和 RULER-2WikiMultiHopQA 上的实验表明，ConvMem 优于无需训练的基线方法，并避免了在分布外任务中使用经过 RL 训练的模型时常见的对参数化先验过拟合的风险。