ImageEval 2026:文化背景扎根的阿拉伯语多模态评测
ImageEval 2026: Culturally Grounded Arabic Multimodal Evaluation
精选理由
帮助理解阿语多模态评测与文化准确性挑战
AI 摘要
我们介绍 ImageEval 2026 共享任务中关于文化背景扎根的阿拉伯语多模态评测的概况。该任务包括两个子任务:(i) AynVQA,涵盖英语和现代标准阿拉伯语(MSA)中的语音视觉问答以及基于图像的幻觉检测;(ii) CRAI-Bench,用于评估文生图生成的文化准确性。共有 14 支团队参加测试阶段,其中 12 支团队提交了系统描述论文。参赛系统采用了多种方法,包括零样本提示、视觉语言模型微调、语音识别流水线、集成以及分数校准。我们描述了任务设置、数据集、评测流程和参赛系统,并总结了不同赛道的主要结果。共享任务中的所有数据集和评测脚本均已向研究社区开放。该共享任务凸显了文化背景扎根的多模态评测所面临的挑战,尤其是在阿拉伯语语音和图文推理方面。