arXiv cs.AI精选76

评测开放权重视觉语言模型在人脸识别中的解释质量

Benchmarking the Explanatory Quality of Open-Weight Vision-Language Models in Face Recognition

· 25天前

精选理由

建立可量化的解释质量基准,帮助审计视觉语言模型的人脸识别可靠性。

AI 摘要

视觉语言模型(VLM)近来被认为是人脸识别领域颇具前景的工具,因为它们能够在输出相似度分数的同时生成自然语言解释。对于法证场景中的人脸比对而言,这一能力颇具吸引力,因为相关决策需要透明且可审计。然而,现有针对VLM在该应用场景中表现的评估主要集中于识别准确率,而生成解释的有效性仍未得到量化。在本研究中,我们提出了一个针对基于VLM的人脸识别的基准测试框架,将解释质量作为核心评估维度。我们提出了解释应满足的两个标准:相关性,即依赖于身份稳定的人脸特征;忠实性,即与图像中可见的内容一致且不虚构不存在的特征。我们共同设计了一套方法,通过将模型输出限制为结构化解释格式,实现对受评模型相关性和忠实性的量化,并支持自动化查询与审计。借助该框架,我们对多个系列的开放权重VLM进行了基准测试,同时评估人脸验证准确率和解释质量。结果表明,模型生成的解释仍存在诸多不足,并强调了解释质量指标对于全面了解模型性能的必要性。所提出的基准和开源评估工具为可解释人脸识别系统的规范化基准测试及未来微调奠定了基础。

查看原文(arXiv cs.AI)