面向小型设备的大模型：Edge AI 部署的最新进展与实证分析

在资源受限的边缘设备上运行大型 AI 模型需要进行模型压缩，以降低模型大小和计算量。然而，压缩效果好并不一定意味着部署效果好。我们调研了数十项近期工作，这些工作报告了真实硬件上的压缩结果，并从中提炼出实用的部署指南。遵循这些指南，我们在 GPU、CPU 和 Raspberry Pi 平台上部署了紧凑型语言模型和图像模型，涵盖问答和图像分割任务。没有任何单一技术能在所有任务中胜出。对于问答任务，Qwen3.5 0.8B 在 Q5_K_M GGUF 量化下达到 93.85 SQuAD F1 和 92 EM，而在相同精度下，1% 比例的结构化剪枝会损失 16 F1。对于分割任务，排名则相反：默认量化不会改变参数量和 MACs，而剪枝在 mIoU 近乎不变的情况下将模型大小减少近 80%。剪枝甚至可能通过破坏 k-quant 超块对齐，使部署产物膨胀 21-49%；再加上输出更长且更不符合格式规范，这会使 Raspberry Pi 延迟最高增加到 3.4 倍。压缩还可能制造出能力表象，而不是明显地破坏能力：一个经 LoRA 恢复的变体仍然完全可解析，并在严格 BoolQ 准确率上保持 71%，但其 100 个预测中有 97 个被发送到单一类别，平衡准确率为 52.6%。我们通过神经流图分析和预填充-解码级延迟分解来解释这些现象，并将其凝练为面向具体任务的部署研究方向。合适的技术取决于任务、模型和硬件。我们的实验代码和产物已在 https://github.com/Arnavvvkumar/deployment 开源。