用于缓解小语言模型智能体停滞的进展感知蒸馏

arXiv:2610.19439v1 公告类型：新投稿 摘要：尽管基于大语言模型（LLM）的智能体系统在推理和解决复杂现实任务方面表现出卓越能力，但它们也存在词元消耗量大、推理延迟高的问题，限制了实际部署。为提高智能体系统的效率，近期研究着重通过基于监督微调的蒸馏，将大规模模型的智能体能力迁移至小语言模型（SLM）。然而，随着交互轨迹变长，涉及更长的推理—行动链和大量环境反馈，蒸馏后的学生智能体往往会出现进展停滞：陷入无效循环，反复采用失败策略，难以取得实质性进展。我们的系统分析表明，这一现象在不同的 SLM 和任务领域中普遍存在。为解决这一问题，我们提出 Progress-Aware Distillation（ProD），显式检测并惩罚学生生成轨迹中的停滞。ProD 将学生与教师之间的停滞差距编码为自适应间隔，以动态惩罚可能出现的停滞。通过迭代应用这一过程，ProD 使学生智能体逐步逼近教师行为。我们在域内和域外基准上，针对参数量从 6 亿到 80 亿不等的 8 个 SLM 开展了大量实验。结果表明，ProD 显著缓解了进展停滞，同时提高了蒸馏后 SLM 智能体的成功率和任务完成效率。