相同运气，不同选择：面向智能体强化学习的孪生世界信用分配

arXiv:2610.31544v1 公告类型：新论文 摘要：智能体强化学习对完整回合给予奖励，但策略需要为回合内的每个决策分配信用。反事实分支通过在采用替代决策后重新运行回合来估计这种信用，但分支的采样噪声独立于事实回合，因此结果差异混合了决策的影响与后续一切过程中的运气因素。我们观察到，在智能体搜索中，检索器、语料库和评分器都是确定性的，因此一个回合是策略决策及其采样噪声的确定性函数。由此，孪生世界得以实现：相同的噪声，不同的决策。我们提出 TWICE（TWIn-world Credit Estimation），按轮次和行对每个词元的 Gumbel 噪声进行键控，展开继承事实回合后续噪声的反事实孪生轨迹，并将配对结果差异转化为轮次级优势，用于在行动者采样的轨迹上进行策略梯度更新；部署时仅使用行动者。无论耦合质量如何，孪生信用估计都是无偏的，其方差为独立反事实估计方差的 $1-\rho$ 倍，其中 $\rho$ 是孪生世界的结果相关系数；在耦合条件下，辨别大小为 $\Delta$ 的优势所需的轨迹展开次数从 $\Theta(\Delta^{-2})$ 降至 $\Theta(\Delta^{-1})$。平方根规则根据单位成本下预测结果的分歧程度分配孪生轨迹预算。在七个问答基准上，TWICE 在 Qwen2.5-3B 和 7B 上分别将 GRPO 的平均精确匹配率提高了 5.3 和 4.5 个百分点，优于树搜索和反事实分支基线，并且比 VinePPO 少使用 68% 的辅助词元。