基于任务结果训练 LLM 智能体的顾问

大语言模型智能体通过交替进行推理、调用工具和获取环境观测来处理多步骤任务。已有研究表明，自然语言反馈可以帮助这些智能体在任务执行过程中调整决策。我们提出 Caddie，一种训练评估器的方法，使其在智能体执行任务时提供自然语言分析和建议。与依赖步骤级标签或参考评语的方法不同，Caddie 根据智能体在收到评估器反馈后最终是否成功来学习。我们通过强化学习优化评估器，同时保持基础模型的参数冻结。我们的 Qwen3-4B 评估器仅使用一个基础模型在多跳问答任务上进行训练，便能提升四个不同规模和架构的基础模型的成功率，其中三个模型未参与评估器训练。在 MuSiQue 基准上，训练后的评估器将 Qwen3-4B 的成功率提高了超过 25 个百分点，使其表现超越了未配备评估器的 Kimi K3。同一个评估器无需额外训练，也能在域外交互式基准上带来性能提升，包括 $τ^3$ 和 DeepDive。我们的结果表明，智能体可以在推理时决定何时向评估器寻求帮助，而基于任务结果的评估器训练能够产生可跨基础模型和任务领域迁移的指导。