只工作不玩耍，Jack 就会变成无趣的孩子：理解并防止 RLVR 中灾难性的策略崩溃

arXiv:2610.02835v1 发布类型：新 摘要：在使用可验证奖励强化学习（RLVR）对大型语言模型（LLM）进行后训练期间，GRPO 风格的算法可能会出现严重的后期崩溃。基于提示的探测表明，这并非无害的策略裁剪，而是有效策略容量的有害收缩，使不同的推理策略越来越难以访问。为刻画这一现象，我们通过轨迹层面的策略更新交互来定义策略，并构建了一个结合优化动态与信息论的统一理论框架。我们证明，主要的 RLVR 目标函数会逐步将概率质量集中到单一策略上，而维持非平凡的任务准确率则需要最低限度的策略容量。这两项结果之间的冲突为灾难性崩溃提供了机制层面的解释。我们进一步推导出 Mirrored Entanglement Index（MEI），将其作为一种轻量级的在线预警信号。为防止崩溃，我们提出 \textbf{Mesh Learning}，通过展现多种推理策略，防止任何单一策略主导优化过程。在 AIME26、AIME25、MATH-500、GPQA 和 LiveCodeBench 上，Mesh Learning 在 Qwen 和 Phi 模型系列中均持续优于强基线，性能提升最高分别达到 13.4 个百分点和 11.5 个百分点。这些结果表明，策略保留是实现稳定 RLVR 的关键原则。代码发布于 https://github.com/Ayanami-0123/Open-Mesh-Learning。