FrugalEvo:迈向具备成本感知能力的 LLM 引导程序演化
FrugalEvo: Towards Cost-Aware LLM-Guided Program Evolution
精选理由
以成本感知和缓存复用提升大模型程序进化效率,为低成本优化提供可复现方法。
AI 摘要
LLM 引导的演化方法(如 AlphaEvolve)已成为解决圆打包等具有挑战性的计算优化问题的强大方法。然而,既有工作通常是在固定迭代次数下优化性能增益。我们认为,实际优化应最大化单位成本的增益。为此,我们提出 FrugalEvo,这是一种具备成本感知能力的演化框架:由更强大但成本更高的 LLM 探索解决方案策略,再由成本更低的 LLM 加以实现,并对生成的代码进行迭代式改进。我们还设计了一种缓存高效的演化过程,通过让我们的 harness 和提示词最大限度地共享不同演化步骤之间的前缀,提升缓存复用率。为了在固定成本预算内衡量整个过程中的解决方案质量,我们引入预算感知曲线下面积(Budget-Aware Area Under the Curve,BA-AUC),将其定义为截至预算上限,累计 LLM 成本范围内最佳评估得分曲线下的面积。在 10 项数学与系统优化任务中,FrugalEvo 在最终解决方案质量方面达到或超越了包括 OpenEvolve、ShinkaEvolve、AdaEvolve 和 EvoX 在内的最先进基线方法,并在其中 9 项任务上取得了更高的 BA-AUC。在 ALE-Bench-Lite 的 10 项算法优化任务中,它的平均性能也高于这些基线。值得注意的是,在圆打包任务上,FrugalEvo 使用 GPT-5.6 Terra 和 Luna 仅花费 1.68 美元,使用 GLM-5.3 及其 Flash 变体仅花费 0.55 美元,就取得了新的最先进性能,达到或超越了所有基线方法;这些基线包括 CORAL 和 SwarmResearch 等多智能体方法,而后者平均成本约为 50 美元。