从哪里开始，如何推进：分析 GRPO 下长时程 LLM 智能体的课程设计
Where to Start, How to Move: Analyzing Curricula under GRPO for Long-Horizon LLM Agents
精选理由
揭示长程智能体训练中起点与交接策略如何影响学习成效，为设计更有效的课程提供实证依据。
AI 摘要
arXiv:2610.19349v1 公告类型：新投稿 摘要：当所有采样轨迹获得相同奖励时，组相对策略优化（GRPO）无法提供相对于奖励的学习信号。在需要多次交互的长时程任务中，只有成功完成任务后才会给予奖励，因此训练早期经常出现整组轨迹全部失败的情况，也限制了练习后续步骤的机会。Guide Assisted GRPO 会先重放一段成功参考轨迹的前缀，再由学习者继续执行。我们研究了初始位置、交接粒度和移动规则如何影响无辅助条件下的任务完成情况。在 BFCL 上对三种模型规模的实验表明，在固定的轮次级阈值规则下，从接近任务完成的位置开始更有效。仅采用更细粒度的交接并不能稳定带来改善，但依据结果信息选择工具调用交接点的方法，在训练过和未训练过的任务类别上均优于 GRPO。引导式起始也提高了 AppWorld 在两个评估划分上的成功率。这些发现表明，学习从何处开始，以及起始位置如何移动，是课程设计中的关键选择。