Diamond Agent：作为服务的联邦 HPC 资源智能体式控制

在异构集群之间高效聚合和编排计算能力以执行 HPC 工作流，面临四项实际挑战：在由不同机构独立管理的集群之间保留工作流上下文，在站点之间传输大型数据集，针对站点特定的环境和调度器策略进行推理，以及利用实时队列和资源状态高效调度任务。为此，我们设计了 Diamond Agent，这是一种以类型化技能作为接口的智能体式系统，可实现跨异构集群的 HPC 工作流智能执行。Diamond Agent 提供面向智能体的工作空间和技能，统一跨站点资源发现、资源规格定义、数据传输、任务执行和结果获取。一个集中的 Diamond Agent 实例即可操作多台超级计算机，无需分别部署在每个登录节点上。Diamond Agent 将高层智能体操作转换为符合各站点要求的具体执行，通过 Globus Transfer 传输数据，并利用实时系统能力和队列信息选择可行的部署位置。其事件驱动的持续执行机制将智能体操作与长时间运行的批处理作业解耦：持久化服务监控远程执行，仅在结果或与决策相关的事件可用时恢复智能体运行。我们使用来自四台生产级超级计算机的 27 小时遥测数据，以及由 83 个作业组成的 19 轮匹配多站点提交实验进行评估。与固定站点基线相比，Diamond Agent 将相对于观测到的最快部署位置的额外完成时间中位数从 42 秒降至 4 秒，减少了 10.5 倍。