智能体，只在有帮助时思考

arXiv:2611.05709v1 公告类型：交叉发布 摘要：LLM 智能体蒸馏通过使用完整的教师轨迹进行训练，将智能体能力迁移到学生模型；这些轨迹通常交替包含思考与行动。我们探究思考监督对智能体最终行动表现究竟有多关键。为回答这一问题，我们在蒸馏过程中分别扰动教师的思考与行动，以区分两者的影响。在广泛采用的智能体基准测试中，跨不同模型规模的实验表明，修改或舍弃思考对学生模型的表现影响甚微。然而，我们发现，当训练时的对应行动未体现思考中的信息时，思考监督就变得重要。通过识别这类存在信息差异的情形，我们的发现对 LLM 智能体蒸馏中使用完整教师轨迹的常见做法提出了质疑，并提供了一个新见解：可以根据行动是否体现了思考中的信息，有针对性地选择是否采用思考监督，以提高效率。