更信任评论器

arXiv:2609.39247v2 公告类型：替换 摘要：标准的语言模型 RL 算法会根据终端奖励确定一个优势值，并将其平均归因于长轨迹中的每个 token。Actor-critic 方法能够提供更细粒度的归因，但在使用 RL 训练 LLM 时，通常认为学习得到的评论器不够准确，因而不值得信任。在近期的工作中，即使存在评论器，它也仅被用于基线估计，因此每条轨迹都必须展开至终端奖励。我们提出了带动作分块的 Actor-Critic（AC2），无需将每条轨迹展开至完成。AC2 转而将信用分配给动作块：即过去轨迹前缀的短续写。学习得到的评论器会对每个动作块末尾所到达的状态进行评分，使策略无需观测终端奖励即可更新。我们通过三项设计选择，使基于评论器的信用分配更加可靠。第一，我们引入局部就绪度，仅当评论器在某个具体问题上足够准确时，才在该问题上使用基于评论器的更新。第二，在条件允许时，我们向评论器提供来自此前成功展开的参考解。第三，我们在长度为 10k tokens 的动作块上而非单个 token 上分配信用，使评论器能够评估轨迹中更有意义的部分。我们使用 AC2 在 FineProofs-RL 上训练 Qwen3-4B，并在 IMO-ProofBench 上进行评估。AC2 使用少 2.5 倍的解码 FLOPs，超过了 GRPO 18.5% 的峰值验证得分。这一提升来自两个方面：（1）AC2 达到该分数所需的训练步数减少了 25%；（2）由于策略无需将每条轨迹继续展开至完成，每一步生成的 token 更少。从概念上讲，我们证明了无需将每条轨迹展开至完成，从而为 LLM RL 算法开辟了一个此前尚未得到充分探索的巨大设计空间。