AIR-LLM：通过无线电广播 AI 权重，利用射频计算实现无内存边缘 LLM 推理

arXiv:2610.00465v1 公告类型：cross 摘要：下一代大型语言模型（LLM）正从云端扩展到无处不在的边缘设备。然而，边缘设备通常要么没有足够的内存来存储日益庞大的 LLM 权重，要么即使拥有足够内存，也会因加载权重而消耗难以承受的能量。这引出了我们的问题：边缘设备能否在不存储或加载权重的情况下运行 LLM，而是通过无线方式接收权重并即时使用？受无线广播启发，我们提出了 AIR-LLM，这是一种面向边缘设备的 LLM 推理架构，由以下部分组成：（i）中央无线电设备（例如 5G 基站），将 LLM 权重广播到空中；（ii）边缘用户接收这些权重，并利用射频混频器，直接在射频（RF）域中完成 LLM 推理的一般矩阵-向量乘法（GEMV）。为进一步缩短空中传输时间，AIR-LLM 利用 MIMO 空间复用，并在边缘侧提出一对节能的预编码器和后编码器，以校准其自身的无线信道。由于中央无线电设备无需感知用户，AIR-LLM 具备用户可扩展性，因此一次广播即可服务覆盖范围内的无限用户。我们在两个真实城市场景的 NVIDIA Sionna 射线追踪信道上实现了 AIR-LLM，并结合真实射频混频器的性能分析进行了评估。在 LLaMA-3.1-8B 上，WikiText-2 困惑度仅下降 4.0%，与 FP16 和仅权重量化基线相比，AIR-LLM 分别节省了 157.7 倍和 40.4 倍的能耗；在 20 个用户的情况下，其空中传输时间分别缩短了 104.1 倍和 26.0 倍。