SkillHorizon：通过技能组合构建长时域智能体任务

长时域智能体必须完成一系列工作流，其中后续活动依赖于前序输出以及共享状态的变化。评估面临的一项关键挑战，是在确保任务可执行且结果可验证的同时，扩展任务要求及其依赖关系。我们提出了 SkillHorizon，这是一个通过技能组合在七种商业环境中构建长时域任务的基准。其生成器利用特定领域规则，将可复用的技能流程转化为具体的商业活动。这些活动通过输入—输出依赖、共享资源和状态更新相互连接，使工作负载与协调需求同步增长。成功的参考执行结果用于验证任务可行性并衡量交互工作负载，而程序化评估器则评估局部完成情况和整体任务成功率。我们在 1,050 个任务上评估了五个语言模型，参考交互工作负载范围从 64K 到 1M 个词元。在这些规模下，平均局部目标完成率从 90.4% 降至 46.8%，因为已完成的工作未能跟上不断增长的要求。在更大的工作负载下，智能体更常提交未成功的最终答案，同时仍有大量工作未完成且保留着工具调用额度。轨迹分析还发现了一些案例：脚本能够成功执行，但其输出未能通过后续的商业检查。SkillHorizon 提供了一个可配置的测试平台，用于研究不断增长的工作流中的持续进展、依赖协调和完整任务交付。我们的代码已发布于 https://github.com/KnowComp/SkillHorizon。