Short-to-Long：用于长时域价值学习的梯度分离特征

arXiv:2610.30461v1 公告类型：新提交 摘要：从持续变化的价值目标中学习有用的表征，仍是深度强化学习面临的一项挑战。我们研究了这种监督信号的时间跨度：较小的折扣因子使这些目标对遥远未来的自举变化不那么敏感，但将其用于行为学习会改变控制目标。我们提出 Short-to-Long（S2L），通过采用较小折扣因子训练的源网络，为长时域行为学习器提供特征。梯度分离连接阻止行为价值损失更新源网络，使每个源网络能够遵循自身的价值目标，同时保持行为折扣因子不变。在 Atari、在线连续控制和离线连续控制任务中，该方法均提升了总体性能，并在 57 款 Atari 游戏中的 40 款上提高了配对终局性能中位数。条件匹配的 Atari 消融实验支持了特征迁移、较小的源网络折扣因子和梯度隔离各自的作用。固定轨迹测量进一步表明，采用混合折扣因子可减少源网络价值目标的漂移。