基于任务结果训练 LLM 智能体的顾问

arXiv:2610.09858v1 公告类型：交叉收录 摘要：大语言模型智能体通过将推理、工具调用与来自环境的观察交替进行，处理多步骤任务。已有研究表明，自然语言反馈可以帮助这些智能体在任务执行过程中修正决策。我们提出 Caddie，一种训练评议模型的方法，使其在智能体执行任务时提供自然语言分析和建议。与依赖步骤级标签或参考评议的方法不同，Caddie 根据智能体在接收评议模型的反馈后最终是否成功来学习。我们通过强化学习优化评议模型，同时保持基础模型冻结。我们的 Qwen3-4B 评议模型使用单一基础模型在多跳问答任务上训练后，提升了四种不同规模和架构的基础模型的成功率，其中三种模型未参与评议模型的训练。在 MuSiQue 基准测试中，训练后的评议模型将 Qwen3-4B 的成功率提高了超过 25 个百分点，超越了未使用评议模型的 Kimi K3 的表现。同一个评议模型在无需额外训练的情况下，也在包括 $\tau^3$ 和 DeepDive 在内的域外交互式基准测试中带来了性能提升。我们的结果表明，智能体可以在推理时决定何时向评议模型寻求帮助，而基于结果的评议模型训练能够产生可跨基础模型和任务领域迁移的指导。