谱系即记忆：低预算 LLM 引导优化中的父代继承与反馈披露

迭代式语言模型优化器通过评估候选方案、向提案模型展示部分失败案例，并保留能够提升性能的修订，来改进提示词和程序。近期研究将这一循环的局限归因于单轮反思范围狭窄，因此引入全量错误聚类、针对性小批次或更大的提案模型，使优化器在每一步都能看到更多失败模式。然而，现有评估无一例外地仅在保留谱系的搜索中测试这些机制，即每次修订都修改一个留存的父代，导致父代继承的贡献与每轮反馈的广度相互混杂。我们在九个提示词与程序合成基准上开展了 1,750 次预注册运行，在评估预算相同的条件下，将父代继承与反馈披露的作用分离。我们发现，贪心父代继承驱动了绝大部分优化进展，其表现优于重置至种子方案后重新采样的方法，即使后者的提案在每轮都获得所有失败案例的聚类摘要，或使用更大的提案模型，结果依然如此。尽管全量错误聚类和多样化失败案例选择能够改善从种子方案出发的单步改写，并加速搜索的初始几轮，但连续的父代继承会迅速弥合这一差距，因为已解决错误模式所对应的改进会保留在候选方案中，而这些错误模式则会从后续失败列表中被滤除。此外，对 GEPA 的 token 开销进行分解后发现，提案模型的反思仅占总成本的一小部分，而验证和小批次门控几乎消耗了全部预算。这表明，基于原始失败案例的贪心父代继承，仅需复杂反思循环的一小部分计算量，就能获得同样的收益。