跨越网络空间鸿沟：RL Agents 的仿真到仿真与仿真到现实迁移

arXiv:2610.00759v1 公告类型：cross 摘要：网络攻击智能体通常在单一仿真器内进行训练和评估，因此人们不清楚其学习到的策略能否迁移到开发环境之外。这一局限性阻碍了部署和公平比较，因为不同网络空间仿真器在状态表示、观测模型和动作空间方面存在显著差异。本文研究跨网络空间环境的策略迁移，并认为仿真器到仿真器以及仿真器到现实的迁移可以被视为同一潜在对齐问题的具体实例。我们提出了一个将状态对齐与动作转换分离的框架，使得在一个环境中训练的策略无需重新训练即可在另一个环境中运行。我们在四个网络空间平台 CyberBattleSim、NetSecGame、CyberWheel 和 NASim 之间评估迁移效果，其中包括在 NASim 中进行的仿真部署。实验表明，零样本迁移是可行的：在高度对齐的环境中能够完全保持源策略的性能；当迁移源性能为 60.5% 的策略时，胜率达到 45.2%。在仿真的虚拟机环境中，迁移策略与原生策略之间的 Jensen-Shannon 散度为 0.085，表明二者具有很强的行为相似性。代码和基准测试可在以下地址获取：https://anonymous.4open.science/r/RL-Transfer-between-env-4F47/。