Jaxolotl:面向基于 LTL 的多任务 RL 的统一高性能基准套件
Jaxolotl: A Unified High-Performance Benchmark Suite for LTL-Based Multi-Task RL
精选理由
统一高性能基准加速LTL多任务强化学习评测,揭示不同方法的适用边界。
AI 摘要
训练智能体遵循任意指令是多任务强化学习(RL)的一个重要目标。线性时序逻辑(LTL)为向智能体指定指令提供了一种精确且结构化的形式化方法,并已成功用于训练通用多任务策略。然而,实现方式、任务分布和评估协议之间的差异使现有方法难以比较,而较高的计算成本则限制了实验的规模和统计可靠性。为解决这些问题,我们推出了 Jaxolotl,一个面向多任务 LTL-RL 的统一高性能基准套件。Jaxolotl 提供了六种具有代表性的算法和四个环境的模块化端到端 JAX 实现,并配套了新整理的任务套件和标准化、统计稳健的评估协议。通过将符号化任务表示预编译为静态数组,Jaxolotl 支持完全经 JIT 编译的训练和评估,实现最高达 $220\times$ 的端到端加速,并支持在显著更大实验规模下进行受控比较。我们利用这一框架对现有方法进行了系统评估,揭示了它们互补的优势与局限:能够进行非短视推理的通用方法在命题数量增加时表现出较大困难,而具有更强扩展性的方法则依赖特定于环境的假设,并且容易陷入短视。