LatComm：用于大型语言模型之间潜在通信的可复用上下文压缩

结合多个大型语言模型（LLM）的系统通常会让多个问题共享同一个上下文。当上下文以文本形式在模型之间传递时，接收模型需要针对每个问题重新处理其中的全部词元。要避免这一成本，就需要一种紧凑、可跨问题复用且能被不同 LLM 读取的上下文表示。现有的压缩方法和潜在通信方法各自只能提供其中部分特性。我们提出 LatComm，这是一种 Latent Communication 接口，通过将编码与读取分离，同时实现了上述三点：上下文在不依赖问题的情况下只编码一次，而接收方则针对每个问题选择要读取的内容。一个冻结的上下文编码器 LLM 将上下文压缩成固定大小的数据包，并将其发送给另一个冻结的接收器 LLM；接收器通过交叉注意力读取该数据包，而交叉注意力的门控值则根据其提示计算得到。在 12 个多项选择问答数据集上，与单向量基线相比，LatComm 将平均准确率最高提升了 10.2 个百分点。在 QuALITY 上，它将接收器的输入缩减了 57 倍，并使其回答一篇文章相关问题的速度提升了 3 倍。