用于跨模型 KV 共享的通用上下文复用层

现代大语言模型（LLM）服务系统越来越多地在重复或共享的上下文上运行，但即使另一个模型已经处理过相同输入，每个模型通常仍会执行自己的 prefill 计算。现有的 KV-cache 复用机制可在单一模型内大幅减少冗余计算，但通常假设缓存的生产者和消费者是同一个模型。我们研究跨模型 KV 共享，即将源模型生成的 KV 状态转换为可被不同目标模型消费的表示，包括在规模、架构、注意力配置、tokenizer 和模型家族上存在差异的模型。我们在同一模型家族内和跨模型家族两种设置下评估该方法。对于 Qwen2.5-7B $\rightarrow$ Qwen2.5-1.5B，转换后的 KV 状态将 LongBench2 准确率从 27.59% 提升到 34.48%，相比原生 1.5B 基线提升了 6.89 个百分点，同时相较于原生目标模型 prefill 降低了交接成本。对于跨家族的 Qwen2.5-1.5B $\rightarrow$ Gemma-2-2B 设置，KV 交接在 4K 上下文长度下可将目标侧 prefill 成本最多降低 67.05%，同时保持解码困惑度接近原生模型基线。在更异构的 Llama3.1-70B $\rightarrow$ Qwen2.5-7B 设置中，跨家族交接实现了 44.0% 的准确率，而原生 Qwen2.5-7B 推理为 45.7%，同时将测得延迟从 899ms 降至 138ms。这些结果初步表明，KV 状态可以作为可迁移的计算表示，而不仅仅是严格局限于单个模型的缓存，并且为将 context mobility 作为一种系统抽象、以减少异构 LLM 和多智能体推理工作流中的冗余 prefill 提供了动机。