强化学习中的终止表征

arXiv:2605.31289v3 公告类型：替换 摘要：表征学习是强化学习（RL）中进行时空抽象的有力工具。两种成熟的方法分别基于后继表征（SR）和默认表征（DR）。SR 通过状态所诱导的未来轨迹对状态进行编码，捕捉与奖励解耦的信息流。DR 在此基础上用奖励对轨迹加权，将信用分配结构融入表征。这两种表征的特征向量已被用于支持多种下游任务，包括选项发现、奖励塑形、迁移学习和探索。我们提出了一种结构上不同的形式：终止表征（TR）。TR 与 DR 类似，对奖励加权的轨迹进行编码，但可以作为维度更低的对象来学习，并且无需计算特征向量即可直接用于上述应用。特征分解还要求假设状态转移动力学具有对称性，而 TR 可以绕过这一限制。在本研究中，我们建立了 TR 的理论基础，包括其推导、两种学习算法的收敛性、在零样本组合中的应用，以及不同奖励形式之间的等价性。我们进一步证明，TR 嵌入在 DR 的主特征向量中，因此无需特征分解即可捕捉相同的底层知识。此外，我们提供了实证证据，表明 TR 在辅助应用中可以作为现有表征的可行替代方案，同时在学习、存储和使用时所需的计算开销更低。