AttnSR：面向长时程智能体强化学习的注意力步骤奖励

arXiv:2611.07932v1 公告类型：新论文 摘要：长时程大语言模型智能体需要进行多步决策，但仅依赖结果奖励的强化学习几乎无法为单个步骤提供直接监督。我们提出 AttnSR，一种步骤级奖励增强方法，利用训练回放期间提取的策略注意力来分配奖励，无需单独训练奖励模型或进行额外的轨迹采样。AttnSR 沿策略模型的注意力图反向追溯，估计早期步骤与最终响应的相关性。终止步骤相对于动态基线的表现决定这些奖励是强化还是惩罚所选步骤。在基于 Qwen2.5-7B-Instruct 的受控研究中，AttnSR 在 ALFWorld 上所有评估检查点的表现均优于 PPO 基线，将最终留出测试集上的成功率从 91.2% 提升至 97.1%。消融实验表明，这一收益取决于中间奖励的分配方式，而非步骤奖励随时间的简单累积。AttnSR 在 ScienceWorld 上的每个检查点也都带来了性能提升，同时将环境交互次数减少了 29.9%。这些结果表明，策略注意力可作为长时程智能体强化学习中步骤级奖励分配的实用先验。代码已发布于 https://github.com/fairyshine/AttnSR 。