VIGOR：通过基于模型的强化学习中的潜在空间一致性实现零样本视觉泛化

arXiv:2610.02801v1 发布类型：cross 摘要：基于模型的强化学习（MBRL）通过在学习到的潜在动力学中进行规划，实现了很高的样本效率，但在面对背景变化、光照变化或摄像机位移等未见过的视觉干扰时，其性能会显著下降。不同于无模型强化学习中编码器扰动只影响单步预测，MBRL面临两层脆弱性：视觉干扰首先会将编码器输出推离分布，随后这些误差又会在整个规划时域的递归式潜在空间展开中不断累积。我们提出了基于模型的强化学习中的潜在空间一致性视觉泛化方法（VIGOR），该框架在保留其MBRL骨干网络样本效率的同时，实现了对未见过视觉干扰的零样本泛化。VIGOR整合了三个相互依赖的组件：（i）非对称弱到强增强，在单个批次中配对仅经过弱增强的潜在视图与经过弱到强增强的潜在视图；（ii）动力学层一致性，通过直接潜在回归，强制转换预测对增强保持不变；（iii）编码器层稳定化，防止编码器在动力学层一致性施加的跨增强监督下发生漂移。在DeepMind Control Suite（DMC）和Robosuite上的评估表明，VIGOR优于当前最先进的无模型和基于模型的基线方法，在DMC上超过第二优基线3.4%，在Robosuite上超过43.6%。消融实验进一步表明，VIGOR的鲁棒性与增强方式无关：将默认增强替换为来自不同扰动族的替代方案后，仍能保持较强的泛化能力，这证实了驱动鲁棒性的是潜在空间一致性，而非增强方式的选择。