轨迹生成时干预：突破策略极限，释放智能体强化学习潜能

强化学习（RL）已成为提升大语言模型（LLM）智能体能力的关键范式，使其在交互式环境中具备更强的推理、规划和工具使用能力。然而，现有的智能体 RL 方法仍从根本上受限于同策略推理瓶颈：当任务超出模型当前的能力边界时，有效轨迹会变得极其稀少，训练也往往陷入崩溃。我们提出 Rollout-Time Intervention（RTI），这是一种旨在引出超越策略内在探索能力的成功轨迹的技术。RTI 在轨迹生成过程中利用奖励侧证据（即评估准则），将错误轨迹转化为成功轨迹，从而为策略自身很少能解决的任务提供有效的学习信号。尽管干预轨迹本质上属于离策略数据，但我们发现，只要过滤掉分布偏移过大的轨迹，它们就能有效指导策略优化。在五个基准上的广泛实验表明，RTI 始终优于 RL 基线，使后训练得到的策略能够接近同期能力强得多的 LLM 的表现，更重要的是，能够突破其原有的能力边界。代码已发布于 https://github.com/Alibaba-NLP/qqr。