DCRL：通过策略-奖励流形对齐实现解耦与耦合强化学习

强化学习（RL）已成为提升大语言模型（LLMs）推理能力的关键范式。然而，现有的奖励系统，如基于规则和基于奖励模型的系统，常常存在优化不稳定和奖励黑客等问题。在这项工作中，我们从几何视角重新审视 LLMs 的通用推理，将其概念化为一个由三个相互依赖的子流形组成的耦合流形：逻辑演绎、评估和表征。基于这一视角，RL 中的响应生成可被解释为从评估流形中解耦的过程，而奖励估计则对应于从逻辑演绎流形中解耦的过程。基于规则和基于奖励模型的 RL 系统的局限性，可以从几何上解释为 RL 过程中策略-奖励流形的不匹配。为了解决上述未对齐问题，我们提出了 Decoupling and Coupling Reinforcement Learning（DCRL）框架，该框架包含两个关键组件：（1）一种基于三段论逻辑的提示演化机制，可动态细化奖励评分准则，以增强奖励流形的表达能力；（2）一种策略-奖励再耦合机制，联合更新奖励模型和策略模型，确保评估一致性，并在训练过程中缓解流形不匹配。跨多个推理领域的理论分析和大量实验表明，DCRL 始终优于基于规则和基于奖励模型的基线。值得注意的是，在 DCRL 下训练的 Qwen3-4B 模型超过了 Qwen3-32B 基线，并接近 Qwen3-235B 模型的性能，凸显了其在 RL 中卓越的有效性和泛化能力。