前缀缓存语言模型服务的精确内存-时间优化

arXiv:2610.02766v1 发布类型：新 摘要：保留语言模型的前缀状态，需要在重新计算与存储时间之间进行权衡。分别优化每个缓存块可能会重复计算节省量：只有在所需的前置前缀也可用时，驻留块才可被使用。我们提出前缀证书保留（Prefix-Certificate Retention，PCR），这是一种针对静态、分组、访问时重置超时机制的精确有限轨迹建模方法。可用前缀的收益被表示为节点，其前置条件是超时阈值和此前命中证书。由此得到的最大权闭包问题可归约为一次最小割计算，图的规模与块查找次数和超时选项数量呈线性关系。一个断点定理将该构造扩展到所有非负超时，且不会产生离散化误差。我们还针对有序超时推导出一个关于网格规模的线性时间动态规划算法，并给出能够证明这一限制代价的界。对小规模实例的穷举检查，以及对39,632个公开 Mooncake 请求进行按时间顺序的重放，验证了该建模方法。在固定网格上，在120个轨迹分组-价格组合中，有序超时策略在118个组合上达到了无约束训练最优值。异构保留策略改善了若干留出数据上的内存-时间权衡，但更精细的训练优化并不能一致地改善迁移效果。本文的贡献在于提出一种易于处理的优化模型，以及一个可审计的保留策略基准；实验衡量的是可用前缀块和存储时间，而非 GPU 延迟。