你的语言模型就是自己的价值评估器：利用演员内部状态进行价值估计的强化学习

arXiv:2605.07579v3 公告类型：替换 摘要：带可验证奖励的强化学习（RLVR）是大型推理模型的基础，而RLVR依赖于降低方差，这要求同时具备可靠的基线，以及每个训练批次内高度多样化的提示词。在通用推理模型的多领域训练中，这一点尤其困难，因为不同任务的提示词会产生高度多样化的梯度信号。现有方法各有不足：GRPO将基线估计为来自同一提示词的多次采样结果的组均值，因此，越准确的基线意味着批次中可包含的不同提示词越少；而PPO通过训练一个与策略规模相当的评论器来避免这一权衡，但训练成本大致翻倍。我们提出POISE（Policy Optimization with Internal State Value Estimation），一种将模型内部状态转化为价值模型的强化学习算法。一个轻量级探针读取前向传播过程中已经计算出的信号，以预测基线，并与策略同步在线训练。为保持梯度的无偏性，我们提出一种跨采样结果构造方法，利用另一次独立采样结果的内部状态来预测每次采样结果的价值。在涵盖六个领域的可验证奖励语料库上，使用Qwen3-4B和OLMo3-7B-Instruct-DPO进行实验，POISE优于其他RLVR基线，同时实现了更稳定的训练。此外，该探针的效果可媲美独立的LLM规模价值模型，能够泛化到各种任务，并且随着策略规模扩大仍能保持准确。通过利用模型的内部表示，POISE实现了稳定的策略优化。