通过动力学嵌入从无动作时间序列中学习可迁移策略

arXiv:2610.03065v1 公告类型：新 摘要：从无动作记录中学习控制具有挑战性，因为干预效应不可观测，策略还可能利用重建动力学中的误差。我们提出了一种分层的基于模型的强化学习框架，利用相关系统之间的共享结构，从无动作记录中学习特定于系统的控制策略。分层动力学系统重建模型通过低维嵌入捕捉共享动力学和个体差异。随后，这些嵌入被重新用于参数化共享策略网络和值网络，从而将重建动力学的差异与控制差异联系起来。策略完全在带有加性潜在扰动的显式干预模型下，通过仿真进行训练。分段线性循环神经网络支持对受控动力学进行机制分析，而基于解码器的约束则使干预的即时效应在观测空间中具有可解释性，并允许对一种模态实施干预，同时避免对另一种模态进行直接操纵。在 Lorenz-63 和双摆系统上，分层策略相比独立训练的策略表现出更好的迁移能力。在 Lorenz-63 上，与使用相同重建模型进行重复规划相比，分层策略还获得了更高的平均奖励；其性能与使用受控交互训练的方法相当，并且仅在推断嵌入后，就能泛化到策略训练中未出现的系统。在神经—行为记录上的应用表明，在受约束的神经扰动下，可以抑制预测的运动。总体而言，这些发现表明，共享动力学表征能够支持从无动作记录中实现可迁移控制，并生成机制假设。