当所有 rollout 都失败时：面向难题推理的策略兼容联合解码

可验证奖励强化学习（RLVR）通过同策略探索从二元奖励中获得学习信号，已成为提升大型语言模型推理能力的有力范式。然而，在超出模型当前能力的问题上，它会遭遇学习悬崖：当每次 rollout 都失败时，样本无法提供任何关于正确解法的信息，而组相对估计器（例如 GRPO、RLOO）会将更新坍缩为零优势。专家轨迹可以缓解这一问题，但它们与当前策略不兼容，且往往位于学生模型的低概率区域，因此残余更新需要较大的参数偏移，最终退化为表层模仿，而非可迁移的推理能力。我们认为，难题上的有效学习信号必须同时具备可验证的正确性，以及与当前策略足够的兼容性。为此，我们提出策略兼容强化学习（Policy-Compatible Reinforcement Learning，PICO），执行分布约束的联合解码：专家数据在 token 层面引导解码，同时保留学生模型 token 概率之间的相对关系；动态 top-k 机制则在有限散度预算下限制采样分布，从而在构造过程中生成经过验证且与策略兼容的轨迹。这些轨迹与同策略 rollout 一同在混合行为目标下进行优化，并通过重要性采样缓解其分布失配。跨越多种推理类型的数据集和智能体基准测试的实验表明，PICO 始终优于标准 RLVR 及以往的离策略基线方法。