面向低成本 LLM 服务的连续语义缓存

arXiv:2604.20021v2 公告类型：替换 摘要：随着大语言模型（LLM）日益普及，缓存响应以供语义相似查询的用户复用，已成为降低推理成本和延迟的重要策略。现有缓存框架假设离散查询构成一个有限且已知的全集，并通过学习这些查询的服务成本和到达概率，决定缓存哪些查询响应。然而，随着 LLM 的用户群体和查询范围不断扩大，这一假设愈发难以成立：现实世界中的 LLM 查询位于无限的连续嵌入空间中。本文首次建立了一个严格的理论框架，用于在不确定性下对连续查询空间中的 LLM 响应进行语义缓存。为弥合离散优化与连续表示空间之间的鸿沟，我们引入了动态 $\epsilon$-网离散化，并将其与核岭回归相结合。这一设计使系统能够形式化地量化估计不确定性，并将有关 LLM 查询成本的部分反馈泛化至连续的语义查询邻域。我们开发了离线学习算法和在线自适应算法，并对其进行优化，以降低更改缓存响应所产生的切换成本。我们证明，相对于最优预言机，我们的在线算法具有次线性遗憾界，且该界可退化为离散查询模型的现有界。广泛的实证评估表明，我们的框架能够较好地逼近连续空间中的最优缓存方案，同时相较于现有方法降低计算开销和切换开销。