CacheGraft：通过潜在空间文档增强提升检索增强生成

arXiv:2611.07393v1 公告类型：交叉收录 摘要：机器学习领域的近期研究表明，基于 Transformer 的语言模型智能体不仅可以通过文本传递状态，还可以通过键值（KV）缓存直接在潜在空间中传递状态。本文认为，这种缓存到缓存的转换不仅适用于最初推动其发展的实时智能体通信场景，还可用于检索增强生成（RAG）。基于 Cache-to-Cache（C2C）融合框架，我们提出的 CacheGraft 系统将语料库中的每个段落离线编码为融合较大共享模型（实验中参数量为 40 亿）与较小接收模型（参数量为 6 亿）的 KV 缓存表示，从而在查询时无需使用较大模型，即可将该缓存注入接收模型。在五个问答基准测试和两个独立的本地运行评判模型的评估中，CacheGraft 在 30 项比较中的 29 项中提升了相较于纯文本接收模型基线的回答质量，其中 17 项具有统计显著性。值得注意的是，对于融合器而言，这些提升是在零样本条件下实现的，因为融合器从未使用检索数据进行训练。这些初步结果表明，潜在空间文档增强可能是提升 RAG 系统性能的一条有前景的路径，尤其适用于计算资源受限、推理时只能部署小模型的场景。