PACE：面向感知延迟的级联服务路由与填充控制，实现高 QoE 的检索增强对话服务

我们提出了 PACE，这是一种面向检索增强对话服务的框架，将感知首次响应时间（Perceived Time-to-First-Response，PTFR）形式化为 QoE 目标，并在质量和成本约束下将其最小化。不同于以往关于级联路由、语义缓存或自适应检索的研究，PACE 联合控制由哪种答案源生成响应，以及如何填充等待窗口。该框架部署于一项人形机器人销售服务中，结合了三种机制：负载自适应级联路由器、联合路径填充控制器，以及感知波动性的缓存准入机制。在 75k 个 CarQA 请求上，该级联方案将纯 LLM 在 P95 下的 PTFR 减半（c16 下为 0.29 秒，相比之下为 0.53 秒）。自适应控制器将 P95 降至 0.41 秒，在高负载且质量相当的情况下，性能优于 RAG 2.4 倍。填充控制器在零冲突的情况下减少了 94% 的调用。感知波动性的准入机制将过时答案的比例从 86% 降至 0%。门控规则确保控制器的表现不会差于基线，其暴露风险被限制在一个保持周期以内。这是首次对已部署服务中的填充答案冲突风险进行量化。