通过无需训练的奖励归因解锁 Token 奖励

本文提出了一种极高效且无需训练的方法，可直接从现有的深度奖励模型中提取 Token 级奖励信号。我们的核心思想是通过估计每个 Token 的影响，将整体过程奖励归因于单个 Token。该影响被定义为：当一个 Token 被语义上无意义的 Token 替换时，最终宏观奖励（例如过程奖励）的变化。朴素地计算这种影响在计算上不可行，因为对于包含 N 个 Token 的序列，需要通过 PRM 进行 N 次前向传播。为克服这一瓶颈，我们提出了一种高效的基于梯度的估计器。具体而言，我们采用一阶泰勒近似，将影响的计算简化为 Token 嵌入与无意义 Token 嵌入之差，与奖励相对于 Token 嵌入的梯度之间的内积。该方法仅需一次前向传播和一次反向传播。由此得到的 Token 级奖励使标准 RL 算法能够在无需额外训练奖励模型的情况下，执行精确的信用分配。在具有挑战性的推理基准测试中，实验结果表明，我们的方法显著提升了策略优化效率，并增强了 LLM 推理能力的泛化性。对于 Qwen2.5-VL-7B-Instruct，我们的 P2T 在 MathVista 上相比结果奖励提升了 +4.9%；对于 Qwen2.5-Math-7B，在 AIME24 上提升了 +11.5%。代码将通过 https://github.com/stonewst/P2T 发布。