通过 5G 用户面将 AI 推理作为电信网络 API 暴露

支持边缘人工智能（AI）推理作为网络服务颇具挑战，因为当前移动系统能够传输张量，却无法暴露或理解赋予这些张量实际运行意义的推理上下文。已有研究通过动态分区、协同推理和分割流水线来弥合这一差距；然而，这些方案仍然受应用约束、对网络无感知或缺乏上下文。本文提出 Inference on Demand（IoD），这是一种按需推理抽象，通过类似 CAMARA 的应用程序接口（API）暴露分割推理，并在 5G 用户面路径中以带内方式传输感知分割的张量上下文。我们在基于可编程用户面功能（UPF）的测试平台上，使用可分区的视觉 AI 工作负载对 IoD 进行了评估，结果表明，自适应分割选择可以作为面向网络的服务运行，同时避免静态配置僵化的成本特征。结合我们的研究结果，当服务意图、运行时分区和张量传输对移动数据平面可见时，分割推理便不再只是卸载。这为网络原生 AI 服务开辟了道路，使可编程电信基础设施能够为面向用户的应用协调计算、上下文和连接。