面向半精度近端策略优化的结构感知数值稳定化

arXiv:2610.13306v1 公告类型：新论文 摘要：在资源受限平台上进行本地在线训练，需要较低的计算开销和训练状态存储开销。我们研究了消费级 GPU 上半精度近端策略优化（PPO）的数值稳定性和计算效率。直接将 PPO 训练转换为 FP16 并不可靠，因为数值误差会通过策略更新和后续数据采集形成反馈，而 PPO 会反复比较当前策略与固定的行为策略。我们提出了 PPO-FP16，其中包含三个结构感知模块。全局标量保护用于稳定小批次或参数更新中共享的统计量。策略变化残差保护用于提取并保留当前策略与行为策略之间的微小差异。高效持久更新保护在减少状态存储的同时，稳定优化器状态和参数回写。这些改动保持了 PPO 的目标函数、超参数和训练预算不变。在六项连续控制任务和五个随机种子的实验中，PPO-FP16 在四种方法中取得了最低的回报曲线下面积（return-AUC）平均排名（1.90），并在 30 组环境与随机种子组合的比较中获得了 17 次第一。九种性能配置中有八种实现了 PPO 更新加速，加速比介于 1.16 至 2.03 倍之间。相较于 Full FP32 Adam，优化器状态内存占用减少了 71.7% 至 74.9%，GPU 已分配内存峰值最多减少了 44.5%。结果表明，保护少量在结构上具有重要作用的量，即可在无需重新调参的情况下实现稳定、高效的 FP16 PPO。