Decision Titan：面向离线强化学习长期记忆的 Test-Time Training

arXiv:2610.01513v1 发布类型：cross 摘要：在人工智能领域的序列决策中，长期依赖仍然是一项重大挑战：RNNs 受困于梯度消失问题以及基于向量的隐藏状态表达能力有限，而基于 Transformer 的模型则受到注意力机制二次扩展的限制。近期研究提出使用 Test-Time Training（TTT）框架来应对这一问题，该框架通过在训练时和测试时进行梯度下降，将情景记忆存储在神经网络的参数中。该方法已在自然语言处理领域取得成功，但据我们所知，它尚未应用于强化学习（RL）领域，也尚未有研究分析这种记忆在实践中的具体运作方式。本文通过为 Decision Transformer 添加 TTT 层，构建了名为 Decision Titan 的模型，研究 TTT 框架在离线 RL 中的潜力。我们在 X-Maze 环境中分析了该模型的性能和属性。X-Maze 是对 T-Maze 的扩展，旨在测试序列记忆；同时，我们通过可视化随时间变化的门控值，研究记忆机制的学习过程。我们的主要发现是：Decision Titan 能够学习范围比上下文窗口长 20 倍的长期依赖，能够泛化到训练数据长度 1.7 倍的序列；但关键在于，时间泛化取决于所使用的时间嵌入，而学习长期依赖的能力则取决于相关信息的编码方式。