从生产环境执行轨迹中挖掘智能体技能

记录操作流程指令的智能体技能越来越多地从执行轨迹中挖掘获得，而非由人工编写整理。技能挖掘流水线通常利用已知的任务结果或反馈来指导技能构建。在生产环境中，可能无法获得关于某次运行是否成功的可靠信息。我们研究了执行轨迹的采样方式、是否能够获取成功或失败信息，以及所挖掘技能的形式如何影响下游任务表现。在保持挖掘流水线不变的情况下，我们比较了挖掘依据与技能形式的六种组合。挖掘依据分为三个层次：仅包含成功轨迹、包含成功和失败轨迹及其结果标签，或包含相同的成功与失败轨迹组合但不提供标签。技能形式分为两类：有序的工作流计划，以及由实体、状态和策略构成的声明式本体。我们在两个企业任务基准 ThinkingBox-Bench 和 APEX-Agents 上评估了挖掘出的技能。对任务级配对差异的分析表明，不同挖掘依据与技能形式配置所带来的收益取决于企业业务领域。在 ThinkingBox-Bench 上，配对差异显示，工作流的得分比本体高出 1.7 个百分点，Goldilocks 比仅使用成功轨迹作为依据的类型高出 2.4 个百分点，而模拟在无结果信息条件下学习技能的 Goldilocks blind 则低了 3.1 个百分点。APEX-Agents 表现出对本体的适度偏好，但对不同挖掘依据设置没有明显偏好。在每个领域内，与任务结构相关的约束导致挖掘出的技能表现不均衡。这些发现表明，应根据目标任务的需求定制元技能，而非采用一刀切的方法。