重新审视深度强化学习中用于平滑控制的时间正则化

arXiv:2610.07910v1 公告类型：新增 摘要：深度强化学习策略可能产生不平滑的动作振荡，从而阻碍其部署在实体机器人上。现有基于架构和惩罚项的方法试图通过直接降低策略对状态输入变化的敏感性来实现空间平滑性，但随着平滑约束增强，这类广泛约束可能会损害任务性能。时间正则化则约束观测到的状态转移过程中的动作差异，但人们一直认为，在存在观测噪声的情况下，它无法提供所需的空间平滑性。我们重新审视了这一假设，并证明时间惩罚项能够约束共享同一下一状态的当前状态之间的期望动作差异，从而揭示出一种空间效应；实验证明，该效应可以延伸为空间平滑性。在此发现的基础上，我们提出仅使用时间平滑性的动作条件化方法（Conditioning for Action using only Temporal Smoothness，CATS），将时间惩罚项与线性渐增相结合。我们强调，时间正则化能够提供空间平滑性，同时比显式空间正则化更好地保持任务性能。通过线性渐增，CATS 允许策略先学习能够获得回报的行为，再逐步平滑其动作，从而改善回报保持效果以及时间和空间平滑性。在仿真环境和真实世界中的实验表明，CATS 能够在不损害任务性能的情况下显著减少动作振荡，同时仅带来很小的计算开销。