RL-IF：追踪在线强化学习中的非局部训练数据影响

arXiv:2610.28883v1 发布类型：新 摘要：在线强化学习（RL）已在决策任务中取得显著成功，但现代在线RL仍对训练经验的质量高度敏感。因此，理解单个训练实例的贡献是以数据为中心的RL的核心问题，其应用范围涵盖经验选择和策略解释等。现有的在线RL数据归因方法主要关注单个训练轮次内的局部影响，而忽略了跨多个训练轮次的非局部数据影响。在本文中，我们通过轨迹级留一法量化指标RL-LOO对在线RL中的数据归因进行形式化，该指标用于衡量一个训练样本在后续在线更新完成后对下游目标的影响。随后，我们推导出RL-IF，这是一种一阶估计器，能够同时通过优化效应和策略诱导的采样效应传播数据影响，并在光滑性假设下为其近似精度提供理论保证。我们的分析进一步区分了这两种效应，并从理论和实证两方面表明，完整的RL-IF估计器通常可以仅使用优化效应进行良好近似。基于这一观察，我们开发了RINSE，一种适用于在线RL的实用数据过滤方法。在标准控制基准和RLHF风格的毒性缓解场景上的实验表明，与标准PPO和局部归因基线相比，RINSE能够提升训练效率和最终性能。这些结果表明，RL-IF为理解和改进在线RL提供了一个实用且具有理论依据的框架。