扩大探索规模需要遗忘

利用 LLM 智能体开展自动化研究已在多个领域展现出良好前景。通过迭代改进和评分式验证器，LLM 智能体能够发现新思路。扩大自动化研究规模有多种方式：让单个智能体进行更长时间的迭代，并行运行多个智能体，或者进一步让并行智能体相互交流，并在彼此的候选方案基础上继续改进。然而，我们发现，随着智能体不断积累历史记录，这三种策略最终都会进入平台期。每个智能体都会受自身过去尝试的锚定影响，修改次数越来越少，幅度也越来越小。此后，增加预算几乎无法带来进一步提升。本文表明，要进一步扩大探索规模，关键在于遗忘。定期丢弃搜索状态，包括所有智能体的会话和候选方案历史记录，并从迄今找到的最佳候选方案重新开始，可以打破搜索僵局，让相同预算带来更多进展。我们在一个能够相互交流的智能体团队中实现了遗忘机制，并在涵盖启发式编程、内核优化和模型训练的四项任务上进行了评估。结果显示，与并行智能体相比，性能最高提升 15%；与单个智能体相比，最高提升 39%。我们的结果表明，对于开放式探索，允许智能体记住什么，与为其提供多少计算资源同样重要。