ARK：避免分离式 LLM 推理中 KV 缓存传输的路由冲突
ARK: Avoiding Routing Collisions for KV Cache Transfer in Disaggregated LLM Inference
精选理由
针对大规模 KV 缓存传输中的链路碰撞，ARK 可缩短流完成时间并降低 LLM 首字延迟。
AI 摘要
分离式 LLM 推理将预填充和解码阶段分配到不同的 GPU 池，从而产生海量 KV 缓存传输。由于这些传输持续数百毫秒至数秒，它们表现为超级大象流，主导链路带宽利用。在这种情况下，无状态 ECMP 可能表现不佳：哈希冲突可能导致某条脊层链路过载，而其他链路闲置，使传输时间延长数秒。然而，这种持续性也使协调变得切实可行。由于这些流的生命周期较长，即使是轻量级的一对全协调，其开销也能在流的整个生命周期内得到摊销。我们提出 ARK，一种分布式大象流路径预留机制。ARK 协调各发送端选择源端口，使其哈希值将并发流映射到不同的脊层交换机，而无需修改交换机或在接收端进行数据包重排序。数据包级 RDMA 仿真表明，在中等负载下，ARK 可将平均流完成时间（FCT）和第 95 百分位流完成时间（P95 FCT）分别降低至多 27.3% 和 34.0%，并进一步将平均首个 token 延迟（TTFT）降低至多 12.9%。