在关键之处给予应有的信用：面向终端智能体的依赖感知策略优化

终端智能体能够通过强化学习（RL）从编码、调试及其他多步骤终端任务中获益。在这些任务中，后续命令通常依赖于前序命令产生的信息或中间结果。然而，现有的轨迹级和步骤级信用分配方法并未显式追踪命令影响最终结果所经过的读写依赖关系。因此，训练信号仍可能被分配给无关操作，从而削弱从相关步骤中学习的效果。本文提出依赖感知群组策略优化（Dependency-Aware Group Policy Optimization，DepGPO），利用命令之间的执行依赖关系指导终端智能体的信用分配。具体而言，我们根据执行轨迹构建命令依赖图，并从任务验证器检查的资源出发进行反向追踪。随后，我们沿这些路径为相关写入操作及其支持性读取操作分配信用，并利用该信用在各步骤之间重新分配轨迹优势。大量对比实验和消融研究表明，DepGPO能够提升复杂终端任务上的任务性能和训练稳定性。