arXiv cs.AI精选81

Nexus:面向云、边缘和设备上 AI Agents 的执行基础设施

Nexus: An Execution Fabric for AI Agents Across Cloud, Edge, and Devices

· 9天前

精选理由

介绍跨云边端运行AI代理的统一架构,兼顾权限控制、故障恢复与成本优化。

AI 摘要

语言模型代理正逐渐演变为长期运行的服务,与模型、工具、计算机、移动设备及分布式环境进行交互。现有代理框架简化了推理和工具调用。然而,以云为中心的设计面临三项限制:集中式执行会扩大故障影响、增加扩展压力和计算成本;将代理扩展到计算机、移动设备和边缘环境,需要具备权限控制的统一执行抽象;长期运行的执行过程则需要在故障、恢复、结果、使用情况和结算等方面进行一致的生命周期管理。我们提出 Nexus,这是一个将每次调用视为持久化任务的云边平台。Nexus 使用基于 OpenWrt 的运行时实现分布式服务,使用以运行过程为范围的委派机制,授权访问 Computer 和 Mobile 环境,并通过持久化记录跨云和边缘组件跟踪执行、输出、故障、恢复、使用情况和计费。我们在受控、跨设备及模型驱动的工作负载上对 Nexus 进行了评估。全部十个 Computer-Android 工作流均成功完成,六项撤销测试均阻止了后续写入,同时保留此前已授权的读取权限。在工作节点丢失的情况下,日志记录将每个任务的重复追加次数从六次降至零,但会增加 0.933 秒的平均正常路径开销。在 24 对匹配任务中,Nexus 完成了 24 个任务,而 Dify 完成了 22 个;在双方均成功的任务对中,Nexus 的中位数速度快 3.88 秒。在另一项工作负载中,Nexus 的测试增量运行时内存上限低于 Dapr(16 MiB 对 64 MiB),但 Dapr 的成功调用延迟更低。这些结果表明,局部性、以操作范围为界的权限以及持久化结果标识,能够支持云边代理服务,但其成本取决于工作负载。

查看原文(arXiv cs.AI)