Reflex：通过复用和修正历史动作实现快速机器人策略服务

现代机器人策略通常需要执行开销高昂的推理来生成动作片段，使策略服务成为实时控制的延迟瓶颈和多机器人服务的吞吐量瓶颈。借鉴缓存在图像、视频和音频生成中的成功应用，近期机器人策略研究通过复用中间去噪状态来避免冗余计算，取得了可观的加速效果。然而，我们意外地发现，与不使用任何缓存、直接从新噪声开始执行更少的去噪步骤相比，这种复用通常几乎没有优势。此外，加速去噪并未消除开销高昂的策略骨干网络计算，而这部分计算可能占 GPU 时间的 70%。我们提出 Reflex，这是一个服务层，可将历史策略执行结果转化为未来决策中无需运行骨干网络的路径。Reflex 不复用中间计算，而是缓存完整的动作片段，从而绕过骨干网络和动作头。这带来了两个挑战：相似的观测可能需要不同的动作，而复用过程中微小的动作偏差（误差）可能不断累积，导致执行停滞。Reflex 通过两级缓存校正应对这些挑战。在动作层面，它从历史策略决策中学习动作感知的相似性，组合相容的动作片段，并应用轻量级残差校正来限制动作不匹配。在执行层面，它跟踪任务进度，并自适应地重新调用原始策略进行更新，以限制累积误差并平衡推理成本。在不修改底层策略的情况下，Reflex 在代表性工作负载和真实机器人上实现了 1.4 至 11 倍的推理延迟加速和 2.0 至 2.2 倍的吞吐量提升，同时保持了相当的任务成功率。