期望回报导致强化学习中的结果级模式坍塌，以及如何通过逆概率缩放修复这一问题

arXiv:2601.21669v2 公告类型：替换 摘要：许多强化学习（RL）问题都存在多个质量相近的终止解，其目标并不是找出单一最优解，而是表示一组多样化的高质量结果。然而，经过标准期望回报最大化训练的策略，往往会坍塌到少数结果的子集上，这种现象通常被归因于探索不足或正则化较弱。我们表明，这一解释并不完整：结果级模式坍塌是期望回报目标本身的结构性后果。在理想化的学习动态下，任意两个结果之间的对数概率比会随其奖励差值线性变化，从而导致概率比呈指数级分化，并不可避免地发生坍塌，而与探索策略、熵正则化或优化算法无关。我们确认，这一问题的根源在于期望中的概率乘子，并提出一种最小化修正方案：逆概率缩放。该方法消除了学习信号中的结果频率放大效应，从根本上改变了学习动态，并在理论上保证得到与奖励成比例的终止分布，从而防止多模态场景中的模式坍塌。我们将这一原则应用于 Group Relative Policy Optimization（GRPO），形成无需辅助模型或架构改动即可直接替换的改进版本 IPS-GRPO。在不同的推理和分子生成任务中，IPS-GRPO 都能持续减少结果级模式坍塌，同时达到或超过基线性能。这表明，与其增加探索启发式方法，不如修正目标函数，这才是实现可靠多模态策略优化的关键。