Ripple：面向具身推理的截止时间感知 CPU-GPU 共享

采用统一内存的边缘设备越来越多地在运行 LLM/VLM 推理的同时，执行对时间要求严格的感知与控制 CPU 任务。GPU 内存流量可能严重干扰这些任务，但 DGX Spark 等平台既不提供带宽计数器，也不支持直接带宽调控。我们提出 Ripple，这是一种 CPU-GPU 协同调度器，将根据模型推导的 GPU 内存访问量与 CPU 完成情况反馈相结合，以调节干扰。Ripple 将推理划分为可暂停的逐层执行单元，并将每个 CPU 作业距离截止时间的裕量转换为 GPU 字节预算，仅在所有时间重叠作业的预算范围内准许执行工作。在线更新用于跟踪不断变化的干扰，而截止时间感知的执行节奏控制和适度缩减 SM 占用范围则保障推理持续推进。我们通过 SGLang 引擎钩子和中央调度器实现 Ripple，并在 DGX Spark 上使用四种机器人 CPU 任务组合及 LLM/VLM 推理对其进行评估。在所有受评估的方法中，只有 Ripple 能在各项测试截止时间设置下，始终满足 CPU 截止时间错失率不超过 2% 的目标及 VLM 截止时间要求，同时保持尽力而为的 LLM 吞吐量。