基于逆向最优性的真实基准优先强化学习基准测试：从光滑、完全可观测系统到非光滑或部分可观测任务

arXiv:2610.30954v1 公告类型：新论文 摘要：强化学习中的基准测试通常是相对的：根据算法在最优解未知的环境中获得的回报对其进行排名。与最优解的差距仍然无法观测，而结论可能依赖于奖励设计、随机性、超参数、环境选择和模拟器细节。我们提出一种基于逆向最优性的真实基准优先框架，为每个任务构造经过认证的最优价值函数和策略，并将其对学习器保密，仅用于评估。该框架统一了两种模式：敏感性基准测试从连续时间生成器中采样经过认证的环境，以评估对任务变化的鲁棒性；以最优参照为基准的比较则使用原生离散时间生成器，通过最优性差距、遗憾和策略误差来评估策略。连续时间模型支持具有物理可解释性的敏感性研究，但会引入对模拟器步长（$\Delta t$）和数值格式的依赖。原生离散时间模型使环境、最优参照和学习器遵循相同的转移规律，从而消除外部积分方法选择这一混杂因素。我们复现了涵盖优化器敏感性及最优参照比较的定量结果，涉及串联平面机械臂、经动态扩展的非完整约束车辆以及受四旋翼飞行器启发的任务。该方法不限于光滑仿射高斯系统：虚拟输入拉回可处理非仿射原始动作接口和具有有限协方差的非高斯扰动。非光滑逆向最优性表述使构建具有折点价值函数和切换面的认证基准成为可能。对于部分可观测条件下的评估，信息状态表述将基准测试归结为充分统计量上的逆向最优性问题，并提供信息惩罚参照。代码、测试固定数据和诊断工具可在公开项目页面上获取。