缩小一致性差距：学会保持正轨的自我进化智能体

由大型语言模型（LLM）驱动的智能体平均而言可能表现准确，但在生产环境中却不可靠，这种差异虽已被观察到，却基本未得到解决。在 AppWorld 基准测试中，使用 GPT-4.1 的 ReAct 智能体在同一任务上运行五次时，只有 53% 的情况下能够五次全部成功，尽管其单次运行通过率平均为 77%。我们将这 24 个百分点的差距称为一致性差距，并认为解决这一问题是实现可信赖的 AI 智能体部署的先决条件。我们提出了一种自我进化智能体框架，通过识别智能体轨迹中不稳定且一致性较低的步骤，并将其转化为智能体未来运行时可以调用的情景记忆，从而缩小这一差距。该框架的核心是 Consistency Analyzer（一致性分析器），用于定位轨迹在多次执行中可能发生结果翻转的位置及原因；以及 Guideline Generator（指导原则生成器），用于将诊断结果转化为有针对性的指导原则，将其写入记忆，并在未来执行相似任务时注入智能体。在使用 ReAct/GPT-4.1 的 AppWorld 上，我们的框架使五次运行全部成功的任务比例在同任务评测中提高了 16 个百分点，在相似任务泛化中提高了 13 个百分点。