Conduit：用于分布式强化学习的经验数据平面

分布式强化学习（RL）通过围绕经验缓冲区并行化执行器和学习器来扩展训练。然而，随着 RL 工作负载的增长，缓冲区已不再只是一个回放队列：它成为一条大容量、延迟敏感的经验路径的存储基底，每次迭代都要遍历这条路径，在学习器更新开始之前移动、转换、采样并批处理经验。现有 RL 系统要么将这一路径嵌入框架控制流中，要么将其作为请求驱动的缓冲区服务暴露出来，导致经验放置方式固定，并且难以将经验路径上的工作作为运行时级优化目标进行独立调度。我们提出 Conduit，这是一个与框架无关的运行时，它将 RL 经验管理显式呈现为一个系统优化问题。其核心是 Experience Data Plane（EDP），这是一种运行时抽象，通过将经验摄取、经验放置和经验交付暴露为显式控制点，把 RL 经验处理语义与特定框架的执行逻辑分离开来。基于 EDP，Conduit 引入了受容量约束、带宽感知的放置机制，在异构互连和设备内存约束下，将经验状态分布到 CPU/GPU 内存层级和节点之间；并引入了延迟感知调度机制，控制经验路径处理的运行时机，以在保持 RL 语义的同时降低暴露的经验路径延迟。在不改变 RLlib 框架执行逻辑的情况下集成后，Conduit 将暴露的经验路径延迟降低最高 97%，将端到端迭代延迟降低最高 38%，可扩展到 1,024 个 GPU，并保持收敛性。