SkillAdam：面向智能体的稳定高效技能演化

智能体技能为冻结的语言模型智能体提供了一种轻量级方式，使其具备领域知识和程序性指导，但获取高质量技能仍然成本高昂且难以规模化。由专家编写技能需要投入大量人力。近期的技能自演化方法通过自动化迭代循环，利用执行反馈来修订技能，但其启发式更新策略往往导致优化过程不稳定、迭代效率低下。我们发现，实现稳定且高效的技能自演化面临两项挑战。方向稳定性要求有效的修正能够不断累积，而不是被局部迭代反馈覆盖。更新自适应性要求每次修订的范围能够反映近期案例级改进的一致性。我们提出 SkillAdam，这是一种受 Adam 启发、用于优化离散且不可微技能文档的框架。作为 Adam 一阶矩的功能类比，优化记忆记录已识别的问题以及此前解决方案尝试的结果，从而稳定更新方向。作为 Adam 二阶矩的功能类比，波动性驱动的编辑预算跟踪近期案例级改进的历史加权变化，并自适应地控制更新幅度。在涵盖短期和长期任务的七个基准测试中，SkillAdam 以更加稳定的优化动态取得了当前最佳性能。与以往方法相比，它还以显著更少的优化迭代次数和更低的成本获得了更强的技能。代码仓库：https://github.com/ruc-datalab/SkillAdam