你不需要很长的上下文

后续生成的词元成本高于前面生成的词元。在前沿开放权重模型上，成本差异可能最高达到 7 倍。通过频繁压缩上下文，我们在广泛的长期跨度和长输入任务中表明，在保持短上下文的同时，前沿语言模型的任务准确率几乎没有下降，甚至完全没有下降。我们进一步证明，即使每个上下文最多只执行一个操作，LLM 在长期跨度的软件工程任务上的性能也不会崩溃，并据此提出语义状态空间模型（SSSMs）的概念。我们的研究结果对长上下文语言模型的必要性提出了质疑。