PlantVLM-Edge:用于端侧作物健康诊断的量化视觉语言模型
PlantVLM-Edge: Quantized Vision-Language Models for On-Device Crop Health Diagnosis
精选理由
让种植者无需联网即可在边缘设备上快速诊断作物病虫害并获取管理建议。
AI 摘要
及时、准确的作物健康诊断对于可持续农业生产至关重要,但准确诊断往往需要难以随时获取的专业知识。近年来,视觉语言模型(VLM)在视觉理解、推理和自然语言交互方面展现出卓越能力,为智能作物健康评估创造了新的机遇。然而,由于计算和内存需求庞大,在资源受限设备上部署 VLM 仍面临挑战。本文提出 PlantVLM-Edge,这是一种用于对话式作物健康诊断的量化视觉语言框架,可完全在资源受限的边缘设备上运行。PlantVLM-Edge 将农业领域适配、训练后量化和端侧推理服务与离线聊天界面相结合,使种植者无需连接云端即可提出开放式问题,并获得诊断结果、症状解释和管理指导。该框架不依赖特定骨干模型:我们使用两种规模和架构不同的 VLM(Qwen3-VL-2B 和 LLaVA-1.5-7B)、四种量化方案以及两个诊断领域(植物病害和虫害)进行验证,并将所有变体部署在 NVIDIA Jetson AGX Orin 上。与全精度模型相比,8 位量化对回答质量的影响极小;4 位激活感知权重量化(AWQ)在两个领域均保留了全精度模型 98.6% 的回答质量,同时将 2B 骨干模型的权重内存占用降低了 49%。在最紧凑的配置下,PlantVLM-Edge 仅需 2.01 GiB 的权重内存,约 0.12 秒即可返回首个词元,并在 0.78 秒内完成包含 64 个词元的诊断回复。这些结果表明,在边缘设备上进行及时、准确的作物健康诊断具有实际可行性,为下一代作物监测与决策支持系统奠定了基础。