NaijaFacts：一个区分尼日利亚相关事实中的语言因素与知识因素的框架

arXiv:2611.06504v1 公告类型：交叉收录 摘要：面向非洲语言的多语言基准大多将通用问题翻译成当地语言，衡量的是语言能力，而非模型是否了解非洲的相关事实。我们提出了 \naija，这是一个包含尼日利亚相关事实性和统计性问题的基准，由母语使用者编写，并以权威官方统计数据为依据，每道问题均提供英语、尼日利亚皮钦语、\yoruba、伊博语和豪萨语版本。让模型回答有关英国和美国的类似问题，可以得到一个国家与语言的交叉矩阵，从而区分语言效应（模型知道某项事实，但在低资源语言下表现下降）与知识效应（模型在所有语言下都缺乏该项事实知识）。在八个前沿模型和针对尼日利亚适配的模型中，知识效应占主导地位：对于美国和英国相关问题，英语提问的准确率为 49--50\%，而对于尼日利亚相关问题则为 20\%。语言效应较小，且与相关语言在网络上的内容占比相对应：从英语切换到 \yoruba{} 后，表现有所下降（尼日利亚相关问题下降 9 个百分点，美国和英国相关问题最多下降 24 个百分点）。我们发现，扩大模型规模并无帮助：最强模型在英国和美国相关问题上的准确率达到 66--79\%，但在尼日利亚统计性问题上，没有任何模型超过 31\%。使用表现最佳的前沿模型，将评估扩展到全部 54 个非洲国家后，发现整个非洲大陆都呈现相同模式：文化类问题准确率为 96\%，政治类问题为 98\%，而统计类问题仅为 26\%。因此，这一差距并非尼日利亚独有。