Agent Skills 下游效用的实证研究

arXiv:2610.08875v1 公告类型：cross 摘要：Agent Skills 将程序性指导和资源打包以供复用，但相关 Skill 并不一定能提升任务性能。现有研究刻画了 Skill 的内容并评估其下游性能，但对于效用如何取决于内容、执行配置和多 Skill 组织方式，解释仍然有限。我们针对 87 个 SkillsBench 任务开展实证研究，将下游效用定义为：在相同模型—harness 配置下，同一任务相对于 No-Skill 的通过率差异。我们在九种配置下比较相同的 Skills，随后在三种选定配置下考察其他已发布的 Skills，以及固定 Skill 集合的不同组织方式。我们从一个经过筛选、包含 37,596 个 Skills 的语料库中检索 marketplace 候选项。通过 LLM 辅助分析内容、执行轨迹和最终产物，并由作者进行复核，我们将所提供的支持与实际使用情况及任务结果联系起来。在 36.78\% 的任务中，相同的 Skills 对某些配置有帮助，却对其他配置造成不利影响；执行轨迹表明，推荐的程序可能会变成执行负担。相关性排序忽略了更有用的候选项。在所评估的候选集合中，依据对所需操作的支持程度重新排序后，在三种配置下，首选项通过率提高了 4.35--5.80 个百分点。我们总结出 17 条编写实践，将可执行程序与恢复机制、任务要求的保留以及最终产物检查联系起来。Stage Plan 和 Dependency DAG 均优于单纯按照使用顺序组织，其中 DAG 的额外收益主要集中在配备五个或六个 Skills 的任务中。这些发现指导开发者评估可用的操作支持，在保留任务要求的同时允许调整程序，并在组织 Skills 时明确产物依赖关系。