SkillRL：通过递归式技能增强强化学习演进智能体

arXiv:2602.08234v2 公告类型：替换 摘要：大型语言模型（LLM）智能体在复杂任务中展现出惊人的效果，但它们往往孤立运行，无法从过往经验中学习。现有的基于记忆的方法主要存储原始轨迹，而这些轨迹通常冗余且噪声较多，导致智能体难以提取对泛化至关重要的高层次、可复用行为模式。本文提出 SkillRL，这是一种通过自动技能发现和递归演进，弥合原始经验与策略改进之间鸿沟的框架。我们的方法引入了基于经验的蒸馏机制，用于构建分层技能库 SkillBank；引入了自适应检索策略，用于获取通用启发式方法和任务特定启发式方法；还引入了递归演进机制，使技能库能够在强化学习过程中与智能体策略共同演进。这些创新显著减少了 token 占用，同时提升了推理效用。在 ALFWorld、WebShop 和七项搜索增强任务上的实验结果表明，SkillRL 达到了当前最佳性能，相较于强基线方法的表现提升超过 15.3%，并且随着任务复杂度增加仍能保持稳健性。代码发布于 https://github.com/aiming-lab/SkillRL。