元反思进化有效提升生产环境 AI 系统性能

arXiv:2610.12794v1 公告类型：新论文 摘要：大语言模型（LLM）引导的进化优化已成功改进提示词、程序，乃至整个 AI 系统。大多数优化方法从搜索前沿选择一个候选方案，然后仅依据其失败情况，通过单次 LLM 调用对其进行变异。这种对搜索前沿的聚焦可能使生产环境 AI 系统的优化陷入停滞，因为孤立的失败很难揭示复杂的隐性交互。我们提出 CoCoEvolve（Cortex Code Evolve），这是一种围绕我们所称的“元反思”构建的进化优化器：智能体式变异器（Cortex Code）选择性地从整个进化历史中检索证据，并探查实际运行的系统，然后验证并提出变异方案。我们将 CoCoEvolve 应用于三类生产环境 AI 系统的优化：数据智能体、LLM 驱动的数据流水线和数据工程工作流。在 DABStep 上，CoCoEvolve 位居公开排行榜榜首，在留出的高难度测试集上达到 92.8% 的准确率，而在相同条件下，Meta-Harness 和 GEPA 的准确率分别为 78.4% 和 30.4%。在六项 LLM 数据流水线工作负载中，它均优于所有接受评估的基线。在 data-eng-bench 上，CoCoEvolve 将测试集求解率从 59.1% 提升至 77.4%，超过了最佳基线的 73.6%。它在 HotpotQA 上的准确率也比 GEPA 高出 11 个百分点，同时在成熟的数学和系统基准测试上仍可与专用优化器保持竞争力。同等条件下的消融实验确认，CoCoEvolve 的每个组件都对这些提升有所贡献，体现了元反思在优化生产环境 AI 系统方面的价值。