ProcGen 泛化差距衡量什么？动作规则、残余熵与缺失的随机下限

arXiv:2609.32532v2 公告类型：替换 摘要：强化学习中的泛化差距，即训练关卡上的回报减去留出关卡上的回报，通常是在没有参照点的情况下报告的。我们认为，应将其与一个经过测量的随机下限进行比较：在相同关卡上、使用相同评估框架时，均匀随机策略的回报。在计算资源受限的预算下（8M 步、16 个并行环境；其中三个游戏扩展至 25M 步）使用 PPO 评估八个 ProcGen 环境后，随机下限改变了标准数据的含义。测试时的动作规则决定了所测量的策略：在 miner 中，采样策略在留出关卡上的得分是随机下限的 5.1 倍，而其 argmax 得分在每次运行中都低于该下限；贪心评估还使两个环境的得分显著低于随机下限。将其用作收敛诊断时，原始策略熵标示出八个环境中的六个，但其中 32%–66% 的熵来自效果相同的动作；与随机下限相比，八个采样策略中有五个在留出关卡上明显高于该下限，而 heist 的得分无法与其区分。对十二个 ProcGen 代码库的审计发现，其中九个在测试时进行动作采样，而评估调用位置没有明确的动作选择。我们建议，每个报告的差距都应说明其动作规则，在分析前为评估设置随机种子并明确其测试内容，同时在两组关卡上报告随机下限。