异构智能体协同进化

近年来，自我改进的 LLM agents 取得了长足进展，展示了能够驱动自身智能水平提升的 AI 系统的潜力。然而，许多特定领域的应用依赖于专业化基础模型，这些模型具备强大的领域知识，但仍依赖由人类设计的改进方案。将递归式自我改进扩展到此类模型面临一项关键挑战：随着专业模型不断改进，用于推动其进步的策略也必须随之适应。为应对这一挑战，我们提出 Heterogeneous Agentic CoEvolution（HACE），一种通过相互学习联合演化专业化基础模型与 LLM agents 的框架。HACE 通过监督学习改进专业模型，同时利用在当前专业模型上经验证的性能提升，指导 agent 进行基于策略的强化自训练。反过来，agent 的探索又为后续专业模型训练提供信息，使两个模型能够相互适应彼此的进展。为维持这种相互学习，HACE 进一步采用进化搜索来优化二者的交互工具链，使模型能够随着能力的发展，动态调整信息交换方式以及训练经验的选择方式。我们在三个具有挑战性的领域评估了 HACE：推荐系统、生物学中的蛋白质功能预测，以及材料发现中的晶体稳定性预测。结果表明，在这三个领域的主要任务指标上，HACE 均优于所评估的自我改进方法。这些结果揭示，异构协同进化可作为一种通用方法，通过与学习型 agent 的相互作用改进专业化基础模型。