AttnSR：用于长时域智能体强化学习的注意力步骤奖励

长时域大语言模型智能体需要进行多步决策，但仅使用结果奖励的强化学习难以为各个步骤提供直接监督。我们提出 AttnSR，一种步骤级奖励增强方法，利用训练回放期间提取的策略注意力来分配奖励，无需单独训练奖励模型，也无需额外的轨迹采样。AttnSR 沿策略模型的注意力图反向追踪，以估计早期步骤与最终响应的相关性。终止步骤相对于动态基线的表现，决定这些奖励是强化还是惩罚所选步骤。在基于 Qwen2.5-7B-Instruct 的受控研究中，AttnSR 在 ALFWorld 上所有接受评估的检查点均持续优于 PPO 基线，将最终留出测试集上的成功率从 91.2% 提升至 97.1%。消融实验表明，其收益取决于中间奖励的分配方式，而非步骤奖励随时间的简单累积。AttnSR 在 ScienceWorld 上也在每个检查点均取得提升，同时将环境交互次数减少了 29.9%。这些结果表明，策略注意力可作为长时域智能体强化学习中步骤级奖励分配的实用先验。代码已公开，地址为 https://github.com/fairyshine/AttnSR 。