半事实信用增强策略优化

带可验证奖励的强化学习（RLVR）提升了大语言模型（LLM）的推理能力，但其预测仍容易受到与任务无关的提示特征影响。我们通过保留底层问题及其答案不变的半事实提示干预，研究了这种敏感性。分析显示，模型在词元级别的敏感性存在显著差异；在解码过程中抑制高漂移词元候选项，可以在不更新模型权重的情况下提升推理准确率。这些发现揭示了群组相对策略优化（Group Relative Policy Optimization，GRPO）的一项局限：GRPO 为每个响应词元分配相同的、源自结果的优势值，因而可能在强化有用推理的同时，也强化潜在的虚假依赖。受此启发，我们提出半事实信用增强策略优化（Semifactual Credit-Augmented Policy Optimization，SCAPO），这是一种受因果思想启发的 GRPO 变体，将半事实稳定性纳入词元级信用分配。SCAPO 在半事实干预下测量固定响应的词元概率漂移，并利用归一化的稳定性得分，在训练早期降低相对不稳定词元的优势值，同时不会仅因稳定性而给予额外信用。在 Qwen3-4B-Base 和 Qwen3-1.7B-Base 上，与 GRPO 相比，SCAPO 在 AIME 2024-2026 上的准确率分别提高了 5.63 个百分点和 4.17 个百分点。在这两种模型规模下，与所比较的方法相比，SCAPO 在大多数评测数学基准和全部评测分布外基准上均取得了最佳结果。这些结果表明，半事实稳定性能够通过在 RLVR 中进行更细粒度的信用分配，为提升推理能力和泛化能力提供有效的训练信号。代码见 https://github.com/DtYXs/SCAPO。