EDRAC：阿拉伯语方言阅读理解基准评测

与现代标准阿拉伯语 (MSA) 相比，阿拉伯语方言 (DA) 仍然资源匮乏，尤其是在机器阅读理解 (MRC) 和问答 (QA) 方面。现有的阿拉伯语 QA 基准主要聚焦于正式书面 MSA 或多项选择 QA，对自然口语方言的覆盖有限。在此，我们旨在弥补这一空白。我们提出 EDRAC，这是首个面向阿拉伯语方言机器阅读理解 (MRC) 和生成式 QA 的大规模基准，覆盖五种主要方言：埃及、摩洛哥、阿联酋、叙利亚和沙特阿拉伯方言。EDRAC 包含 499 篇来源于自然发生口语互动的篇章，以及通过人类--LLM 协作流程生成的 4,977 对相应 QA 配对，该流程结合了迭代生成、LLM-as-a-judge 评估和人工验证。我们使用词汇和语义指标，在 EDRAC 上对以阿拉伯语为中心的 LLM 和多语种 LLM 进行基准评测。结果显示，语义答案质量与方言忠实度之间存在显著差距，凸显了现有评估指标在阿拉伯语方言生成任务中的局限性。EDRAC 为未来阿拉伯语方言 NLP 研究提供了一个真实且具有挑战性的 MRC 基准。