文档应存放在哪里：上下文、表示，还是参数？

为了回答超出预训练数据范围的问题，大型语言模型（LLMs）需要访问新信息，而这些信息可以作为文档呈现在上下文窗口中、编码到模型参数中，或注入为潜在表示。然而，每种方法都伴随着不同的效率、成本和性能权衡，没有哪一种方法能够全面胜出。我们在五个知识密集型基准测试上，对基于表示（基于 KV-cache）和基于参数（基于微调）的适应方法进行了受控比较。我们发现，在 oracle 设置下，Cartridges（KV）在几乎所有存储预算下都是最准确的信息注入方法，比基于参数的方法高出 10 个百分点。只有在较低压缩率下，Compaction（KV）的表现才能与 Cartridges 相当；当压缩率高于 $50\times$ 时，其表现落后于基于参数的方法 10 个百分点。在更现实的多文档检索场景中，只有 Cartridges 能够达到上下文学习（ICL）的水平，领先基于参数的方法 29 个百分点，领先 Compaction 15 个百分点。尽管如此，除了完整微调和大型 MLP 适配器之外，Cartridges 也是唯一会遭受灾难性遗忘的方法，即在控制基准测试上的性能下降 6%，在编码任务上下降 13%。