MIPS：缓解大结果空间强化学习中的模式坍塌
MIPS: Mitigating Mode Collapse in Reinforcement Learning for Large Outcome Spaces
精选理由
MIPS以学习到的轨迹模型估计结果概率，缓解大结果空间强化学习中的模式坍塌，兼顾多样性与质量。
AI 摘要
arXiv:2610.19457v1 公告类型：新论文 摘要：强化学习中的期望奖励最大化会将概率质量集中在少数结果上，即使任务要求生成大量不同的高质量解也是如此，这种失效现象被称为模式坍塌。逆概率缩放（IPS）通过将每个奖励除以对应结果的概率，来缓解 GRPO 等基于组的策略梯度方法中的这一问题，其中结果概率根据其在采样组内出现的频率估计。当结果空间相对于组规模较大时，结果很少重复出现，这些估计便无法提供有效信息。由于一个结果可以沿多条轨迹构建，其概率是所有这些轨迹概率之和，因此直接计算在计算上不可行。我们提出边缘 IPS（MIPS），将采样轨迹与一个学习得到的、描述通向各个结果的轨迹的模型相结合，通过边缘化进行评估。在可以计算精确采样分布的 Hypergrids 上，随着结果空间相对于轨迹采样组的规模增大，MIPS 仍能保持接近目标奖励分布，而基于频率的 IPS 则出现性能退化。在分子合成和系统发育推断任务中，当 GRPO 和基于频率的 IPS 出现模式坍塌时，MIPS 仍能持续生成多样化的高质量样本，表明 MIPS 是解决强化学习中模式坍塌问题的一种可靠方法。