SkillCT：用于智能体技能评估的多维基准与免执行基线

智能体技能包含用于专门任务的指令、脚本和资源，并且正越来越多地通过公开 Web 仓库进行分发。然而，现有技能基准主要关注下游任务执行，未能充分评估规范质量、行为鲁棒性、语义一致性和责任边界。它们依赖特定任务的工具、环境和重复执行，限制了可扩展性和部署前评估。为应对这些挑战，我们提出 SkillCT，这是一个将技能评估从下游效用拓展至技能质量多维表征的基准。SkillCT 从三个方面的九个互补维度对技能进行评估：静态评估，用于刻画技能规范的内在属性；动态评估，用于衡量诱导行为在不同主干模型和请求变化下是否保持稳定；以及人工辅助评估，用于考察行为链一致性和任务粒度。这些维度相较于执行成功率，能够更全面地呈现技能质量。将 SkillCT 应用于公开技能语料库后，我们建立了一个参考基准，用于分析质量薄弱点及各维度之间的关系。在此基准基础上，我们提出了一种免执行质量评估基线：通过检索并利用相似的参考技能，在不执行待评估技能的情况下，预测未见技能的多维质量特征。这种方法在保持与完整评估一致性的同时，降低了 token 消耗和评估时间。此外，SkillCT 指导的优化能够提升下游任务成功率和执行效率，展现出其在技能改进方面的价值。这些发现凸显了 SkillCT 在支持可扩展的技能评估、优化和仓库维护方面的有效性。