arXiv cs.AI精选82

可在边缘部署的视觉语言模型能识别物种吗?

Can Edge-Deployable Vision-Language Models Identify Species?

· 33天前

精选理由

深度 96 / 可操作性 86,来自 arXiv cs.AI。

AI 摘要

相机陷阱通常在野外依靠连接受限或完全没有网络连接的边缘硬件运行,因此,小型、可本地部署的视觉语言模型(VLM)——而非前沿规模模型——才是评估物种识别能力时具有实际意义的模型类别。我们测试了处于这一部署相关的2--8B规模范围内的模型是否具备真正的分类学知识:在一个包含96个物种的任务中,将四种此类VLM(Qwen3-VL 2B/4B/8B、Gemma3 4B)与领域专用模型BioCLIP(3亿参数)进行比较;同时,在两个独立采样的评估集上,对比清晰的iNaturalist照片与来自6个LILA.science数据集的相机陷阱图像。所有模型的物种识别准确率都显著高于随机水平,但每个模型——无论是通用模型还是专用模型——在野外图像上的性能都大幅下降(领域差距为9.6--26.6个百分点,在不同分类学层级和两个评估集上均保持一致),这表明性能下降反映的是图像整体可辨识性的降低,而不是细粒度判别能力的失效。在针对每个模型扩展至200张图像的样本中,BioCLIP的表现显著优于所有受测VLM(高出33.2--59.2个百分点),尽管其规模小得多,这说明差距源于专门化训练数据,而非模型规模;然而,BioCLIP自身的领域差距为18.0个百分点,与最佳VLM的22.3个百分点在统计上无法区分,这表明从清晰图像到野外图像的性能下降本身是图像质量变化的特性,而不是通用模型的弱点。在开放集提示条件下,有5.9--9.6%的响应在语法上有效,但所给出的物种名称在分类学上并不存在;不同模型之间虚构率的相对排名在两个评估集上完全复现,这一发现比任何单一的点估计都更稳健。

查看原文(arXiv cs.AI)