评估 LLM 推理优化在 Apple Silicon 上的适用性
Evaluating the Applicability of LLM Inference Optimizations on Apple Silicon
精选理由
帮助读者判断哪些推理优化适用于 Apple Silicon，避免将服务器 GPU 上的加速效果直接照搬。
AI 摘要
arXiv:2610.31479v1 公告类型：新论文 摘要：Apple Silicon 是本地 LLM 推理使用最广泛的平台之一，但几乎所有推理优化都是针对批量服务工作负载下的服务器级 NVIDIA GPU 设计和验证的。哪些优化迁移到 Apple Silicon 后仍能保持收益？其适用性又由什么决定？我们评估了四类优化：KV 缓存剪枝、推测解码、移植的 GPU 内核以及训练后量化。实验覆盖四台 Apple 设备，采用统一的单请求解码工作负载，并在条件允许时与 RTX 4090 进行匹配条件下的比较。在 Apple 设备上，KV 缓存剪枝可将端到端吞吐量提升至基线的 1.75 倍，但在桌面级 NVIDIA GPU 上可能降低吞吐量。在统一基准测试下，所有受评估的推测解码方法均降低了 Apple 设备上的吞吐量，尽管已有报告称这些方法在服务器 GPU 上可实现 2 至 6 倍加速。CUDA 内核设计只能部分迁移：公开的 Metal 不支持异步复制，而批大小为 1 的解码使若干面向服务场景的机制不再适用，不过可迁移的组件仍可将解码吞吐量提升至基线的 1.20 倍。量化收益因设备而异。综合这四类优化，所报告的加速比并非某项技术本身可跨平台保持的固有属性，而是由技术、运行时、硬件约束与工作负载模式共同决定的。