Llama-Mobile：VLMs 的高效 2.7 比特量化

arXiv:2608.21134v2 公告类型：replace-cross 摘要：由于对内存和计算资源的需求较高，将视觉语言模型（VLMs）部署到移动设备上颇具挑战。我们提出了一种用于在资源受限硬件上实现高效推理的 VLMs 量化框架。我们的方法结合了一套量化流程：利用模型自身生成训练数据，且无需访问训练配置；同时采用一种新颖的每参数 2.7 比特格式，支持在 Arm CPU 上高效执行。我们通过将 Llama 3.2 11B Vision Instruct 模型压缩至 3.7 GB（使用 8 比特激活值）验证了该方法，在一组标准视觉问答任务上仍保持了出色的性能。