ALER：自适应可学习经验重写

arXiv:2610.00592v1 公告类型：新 摘要：在部分可观测强化学习（RL）中，后续观测可能使已存储的信息失效，或改变其对下一步决策的含义。RL 的记忆架构和基准测试大多考察保持能力，即在需要使用信息之前使其保持不变。我们对另外两项要求进行了形式化定义。重写会将决策相关内容设为一个与旧内容无关的值，而经验融合则依据后续观测指定的规则转换旧内容。对于由此类更新构成的任务，我们统计解决方案所需的记忆状态数量；若干基线方法在需要更多状态的组合任务上取得了最低成功率。我们提出 ALER（Adaptive Learnable Experience Rewriting），一种将 LSTM 与槽位记忆相结合的智能体。独立寻址的 Gumbel-Softmax 写入机制将权重集中于一个槽位，并覆盖该槽位；随后，学习得到的门控机制会在策略头和价值头处理之前，将检索到的内容与循环状态进行融合。我们还提出 Rune-Mazes，这是三个环境，在向量观测和像素观测下，符文观测会对隐藏线索的更新执行反转、取消、重置或重复操作。在与七种基线方法的对比中，ALER 在全部十六种 Endless T-Maze 配置中的成功率均至少达到 $0.82$，在全部五种 Rune T-Maze 组合中的成功率均至少达到 $0.99$；在带有 Invert 符文的四分支 Rune Multi-Corridor 环境中，其平均成功率最高。在基于像素的 Rune MiniGrid Memory 上，ALER 在十种配置中的八种配置里取得了高于 PPO-LSTM 的平均成功率。项目主页：https://quartz-admirer.github.io/ALER-Adaptive-Learnable-Experience-Rewriting/。