重新思考工具图记忆在多轮工具使用中的作用

大语言模型（LLM）智能体通过在多轮交互中调用外部工具来解决复杂任务。近期研究提出了工具图记忆，将过往经验存储为工具之间的转移关系，以指导后续的工具选择。然而，这一组件究竟能否持续改善智能体的工具使用表现，还是会产生负面影响，目前仍不明确。我们在九个模型和两个基准上评估了工具图记忆，发现它相较于基线很少带来显著提升，而且即便有所提升，所需的 LLM 调用次数也超过基线的两倍。该记忆提供的指导往往不正确，而随机指导或不提供指导也能保留大部分收益，这意味着收益源于额外的计算，而非记忆本身。此外，即使建议了正确的下一个工具，仍然存在许多失败情况，例如未调用工具便放弃。将相同经验改为以文本形式的心得存储，几乎无需增加 LLM 调用次数，就能取得优于工具图记忆的表现。这表明，与其规定下一个应使用的工具，记忆更适合作为一种软先验，从而形成更有效、更具泛化能力的解决方案。