SkillForge：通过动态技能生命周期实现技能与智能体的共同演化

记忆增强强化学习提升了大语言模型（LLM）智能体解决复杂长时程任务的能力。技能是此类记忆的一种形式，将指令与针对任务类型的适用条件相结合。然而，随着策略不断改进，不加区分地保留所有技能会导致过时或有害的条目不断积累，并误导智能体。我们提出 SkillForge，这是一种智能体强化学习方法，通过由适应度驱动、涵盖试用、活跃、稳定和退役四种状态的技能生命周期，构建并演化技能库，使技能与模型在整个训练过程中共同演化。在强化学习前的评估阶段，首先利用基础模型自身生成的轨迹，预先淘汰低适应度技能，得到经过筛选的技能库，再以此为基础开展监督微调。强化学习从该检查点接续训练，并在每次迭代中通过选择性退役、稳定化以及 LLM 引导的变异，在优化策略的同时持续锻造技能库。在多个交互式智能体基准测试中，SkillForge 取得了最高的综合成功率，相较于最强基线实现了最高 7.8% 的相对提升，同时在整个训练过程中保持技能库精简。我们还推出了 SkillFurnace，这是一个包含 5,000 多条标注记录的数据集，整合了经技能退役机制筛选的监督微调（SFT）轨迹、带有适应度标注的演化技能库，以及带有人工标注失败类别的退役事件，以支持技能质量与生命周期管理研究。