关于自我改进智能体的脆弱性：方差、任务顺序与欠规范化

基于记忆的自我改进智能体——这类智能体从在线任务流中学习，并通过维护一个文本记忆库随时间不断改进——在近期文献中展现出巨大潜力。然而，这些方法的可靠性方面却被严重忽视。在本研究中，我们对两种基于记忆的方法进行了全面的重新评估，并沿两个维度拓展了评估范围：(1) 纳入多次运行以量化方差，(2) 随机打乱任务以研究任务顺序的影响。通过这些实验，我们提出了两个观察结果，揭示了当前方法的脆弱性：首先，在复杂环境和多步任务中，智能体评估本身具有噪声，而在其上叠加自我改进循环会进一步放大这种噪声。其次，智能体的改进高度依赖于任务顺序。以往工作通常采用默认排序，这些排序施加了一种隐式课程，成为成功的隐藏前提。 为了更好地理解这种脆弱性，我们手动检查了智能体的记忆，并假设任务和环境的欠规范化会导致这种脆弱性。我们通过在记忆构建过程中纳入能够实现更好规范化的信息（如详细评分标准和环境反馈）来验证这一假设。尽管这些新增信息部分弥合了先前实验中的性能下降，但仍然存在显著差距，这表明还有其他尚未表征的因素导致了这种脆弱性。展望未来，我们的工作主张为自我改进智能体采用更严格的评估协议，即报告多次运行的结果，并在具有挑战性的条件下对其进行压力测试。此外，我们关于欠规范化的发现呼吁建立能够实现有效人工监督的系统和接口，防止智能体以不可预见的方式失败。