HINT-SD：面向长程智能体的定向事后自蒸馏

arXiv:2605.17873v3 公告类型：替换 摘要：使用强化学习训练长程 LLM 智能体颇具挑战，因为稀疏的结果奖励只能表明任务是否成功，却无法说明哪些中间动作导致了该结果，也无法说明应如何修正这些动作。近期方法通过根据回合级动作—输出信号生成奖励或文本提示，或使用反馈条件化的自蒸馏，在一定程度上缓解了这一问题。然而，当许多中间回合已经成功或处于中性状态时，在每个回合生成反馈会造成低效；而在固定或错位的回合应用反馈，往往无法监督那些导致失败的动作。为弥合这一差距，我们提出 HINT-SD，这是一种定向自蒸馏框架，利用完整轨迹的事后信息来选择与失败相关的动作，并仅对目标动作片段应用反馈条件化蒸馏。在 BFCL v3 和 AppWorld 上的实验表明，与逐回合密集反馈基线相比，我们的方法平均最多提升 13.60 个百分点，同时将每个训练步骤的耗时降低 2.26 倍，说明选择蒸馏位置是实现高效、有效长程智能体训练的关键。