Bellman 遇见 Lyapunov：通过掌握混沌实现无监督强化学习

arXiv:2610.02012v1 公告类型：新 摘要：强化学习（RL）是一种强大的训练智能体范式，但其成功依赖于人类工程师的领域专业知识：他们需要为每项新任务设计具有信息量的奖励信号。无监督强化学习旨在通过内在动机（IM）减少这类工程工作：内在动机所对应的奖励信号源自智能体与环境的交互本身。然而，现有的 IM 目标涉及信息变量的选择，这重新引入了该领域一直试图消除的领域专业知识。我们提出 Forward CIP（F-CIP），这是对可控信息产生（Controllable Information Production，CIP）目标的一种原生于 RL 的形式化方法。该目标仅由系统动力学定义，无需进行此类选择。我们证明了 F-CIP 与 RL 兼容，并通过现有算法展示了其有效性。使用 F-CIP 训练智能体，可以无监督地发现诸如保持平衡和维持可控性等基本行为，而这些行为对于更复杂的机器人行为至关重要。结合简单的前向速度奖励，我们的方法能够产生跳跃和奔跑等协调步态，而学习这些步态通常需要进行奖励工程。