目标条件策略学习中的信息性视界诅咒

arXiv:2610.09247v1 公告类型：新 摘要：目标到达策略的学习难度通常归因于一种“视界诅咒”，其表现为时序差分备份中的偏差累积和优势估计中的噪声。在本工作中，我们发现了目标条件策略学习中额外存在一种信息性视界诅咒：增加目标重标记视界可能会显著降低策略的泛化能力和性能。通过一系列使用预言机规划器的受控实验，我们将训练期间采样的目标视界与测试时要求策略到达的目标视界解耦。即使仅在一系列相邻子目标上进行评估，目标条件行为克隆（BC）策略仍会遭受严重的、依赖训练视界的性能下降，而强化学习（RL）目标可以缓解这一问题。我们将这一现象解释为：条件互信息在视界依赖下减少，即动作与事后重标记目标之间的条件互信息降低；并通过实验证实，在更长视界目标上训练的 BC 和 RL 策略，其对目标信息与状态信息的敏感性均发生了偏移，这一点可通过策略输入雅可比矩阵进行测量。受此观察启发，我们发现，将短视界策略的输入雅可比矩阵蒸馏到长视界策略中能够带来显著的性能提升，尤其是在组合式操作任务中。综上，我们的结果表明，在利用离线数据学习通用策略时，目标重标记视界是一个需要重点考虑的因素。