语言模型能玩 Wikipedia Game 吗？

语言模型越来越多地被用于辅助或自动执行信息检索，从规模过大、难以建立索引的文档集合中查找信息。当这项任务需要专业的语言学或科学知识时，就会变得困难。我们使用 Wikipedia Game，在一项类似的信息检索任务中测试语言模型。在该游戏中，玩家必须仅通过文章链接到达目标文章。我们在五种语言的 Wikipedia 和五个学术文献数据集上，对句子嵌入模型和大语言模型（LLM）进行了比较。我们构建了超大规模的 Wikipedia 页面本地图结构，并利用 OpenAlex 构建了论文引用本地图结构，同时提供了构建和导航这些图结构的代码。这使得研究者无需依赖第三方 API，即可研究语言模型的导航能力。我们将这些模型与人类和 TF-IDF 基准进行了比较。Wikipedia Game 的形式支持跨技术、语言和领域的稳健比较。没有任何模型显著优于人类，但表现最好的模型（GPT-o3 mini、GPT-4o、QwQ:32B 和 DeepSeek-R1:70B）取得了与人类相当的成功率。模型的表现和排名随语言和主题而变化，这对采用这些技术的实践者具有参考意义。