MGE-PO：面向数学推理的熵感知信用分配

GRPO 为同一问题中获得相同奖励的响应分配相同的组相对优势，因此未利用它们在生成过程中的不确定性。我们提出了 MGE-PO，其核心是四象限（4Q）优势塑形，将经过验证的正确性与 rollout 生成熵相结合。正确性决定附加修正的符号，而熵控制其幅度：低熵的正确响应获得更大的奖励，高熵的错误响应受到更大的惩罚。基于在线熵的问题课程学习利用缓存的 rollout 测量结果，为这一信用分配规则提供支持。在 Qwen3-8B-Base 上训练八个 epoch 后的最终检查点处，在三种策略优化设置中加入 4Q，使六个基准测试的宏平均 avg@32 绝对提升 3.23–3.69%，宏平均 pass@32 提升 4.24–11.06%。在 Qwen2.5-7B-Base 上，完整配置将四个基准测试的宏平均 avg@32 从 41.5% 提升至 45.4%。