SLOPE：用于基于模型的强化学习的乐观势能景观塑形
SLOPE: Optimistic Potential Landscape Shaping for Model-based Reinforcement Learning
精选理由
SLOPE以乐观潜在价值塑造探索梯度，提升稀疏奖励下模型强化学习的样本效率与规划表现。
AI 摘要
arXiv:2602.03201v4 公告类型：替换 摘要：基于模型的强化学习（MBRL）具有较高的样本效率，但在稀疏奖励场景中面临困难。一个关键瓶颈是稀疏场景中缺乏信息丰富的梯度，标准奖励模型往往产生平坦的景观，难以引导规划。为应对这一挑战，我们提出了利用乐观势能估计进行景观塑形的全新框架 SLOPE，将奖励建模从预测稀疏标量转变为构建信息丰富的势能景观。SLOPE 采用乐观分布回归来估计高置信度上界，从而放大罕见的成功信号，并确保提供充足的探索梯度。在涵盖 5 个基准的 30 多项任务以及真实世界机器人部署中的评估表明，在完全稀疏、半稀疏和稠密奖励条件下，SLOPE 的表现均持续优于领先的基线方法。项目代码已公开，地址为 https://github.com/Arya87/SLOPE。