GraphOPD：面向LLM智能体的图增强在线策略蒸馏

arXiv:2610.08959v1 公告类型：新 摘要：在线策略蒸馏通过在强化学习奖励稀疏且每条轨迹仅返回一次时，由教师策略提供密集的步骤级指导，对大型语言模型智能体进行后训练。现有方法根据每一步教师策略与学生策略之间的分歧大小分配指导信号，其单轮交互直觉是：较大的分歧意味着一个值得纠正的错误。然而，当决策跨越多轮交互形成链条后，这一规则会失效，因为早期偏移会进入两个策略所依赖的每个后续上下文，使教师策略与偏移后的轨迹保持一致，而不是指出偏移的根源；与此同时，可互换的步骤也可能产生较大的、但与结果无关的分歧。我们在一个智能体基准测试中验证了这一点：蒸馏分歧最大的步骤，相较于随机选择并未带来稳定收益。为此，我们提出GraphOPD，这是首个将基于图的结构增强引入智能体能力在线策略蒸馏的方法。GraphOPD从环境自身记录的状态变化中读取哪些步骤促成了后续哪些步骤，从而不受会破坏师生分歧信号的偏移影响；随后将这些关系组织成依赖图，通过图上的随机游走稳态分布为每一步评分，并将结构性归因与分歧信号融合为一个相对于轨迹的掩码，把监督集中在每次 rollout 中最具提升潜力的步骤上。在ALFWorld、WebShop和SearchQA上的三种模型规模与十一个基线方法中，GraphOPD始终展现出有竞争力的性能，相较最强基线最高提升5.8个百分点。基于执行回放的审计进一步表明，该结构性归因分数对真实因果影响的追踪能力远高于随机水平；两种融合信号均不可或缺；同一信号还可以迁移到域外的工具集成推理任务中。