PACT：从信用分配到评论器对齐

强化学习已成为大型语言模型（LLM）后训练的核心组成部分，但 token 级信用分配尚无普遍认可的数学定义，因此其与常用训练信号之间的关系仍不明确。我们提出了三个正则性条件，即 Completeness、Prefix Consistency 和 Neutrality，并证明它们能够唯一确定 token 级信用分配。这一刻画为解释现有算法中的各种现象提供了统一基础，并指导改进型 actor-critic 训练流程的开发。从这一视角来看，On-Policy Distillation（OPD）中的理想教师充当隐式 critic，使得其期望策略梯度与 token 级信用分配所诱导的策略梯度成正比。尽管粒度更粗，响应级 REINFORCE Leave-One-Out（RLOO）信号仍与 token 级信用分配对期望策略梯度的贡献相匹配。我们进一步在有界结果奖励条件下建立了近似信用稀疏性，并展示了 Generalized Advantage Estimation（GAE）中的中间 critic 误差如何达到与底层信用分配相当的程度。基于这些发现，我们提出 Policy Aligned Critic Training（PACT）：该方法采用先 Actor 后 Critic 的更新顺序，对 critic 训练应用重要性采样校正，从而使 critic 更好地与更新后的策略对齐。在智能体数学推理任务中，PACT 在四个基准测试上取得了 72.87% 的平均准确率，分别以 8.80 和 13.16 个百分点的优势超过 GRPO 和 PPO。在 SWE-bench Verified 上，PACT 的通过率达到 67.4%，分别以 2.4、2.0 和 3.8 个百分点的优势超过 PPO、GRPO 和 SAO。