CulturalRiddles：一个多文化谜语基准

随着 LLMs 扩展其语言覆盖范围，评估它们理解和呈现多元文化的能力变得日益重要。然而，许多基准仍以英语为中心，文化覆盖有限，并且更注重事实知识，而非其在现实世界文化语境中的应用。我们提出了 CulturalRiddles，这是一个由人类通过社区参与式协作全程创作的原创、文化根植型谜语基准，涵盖 62 种文化（45 个国家、51 种语言）。这些谜语深深植根于各自的文化之中，需要进行溯因推理和组合推理，同时具备详尽的事实与社会知识、语言技能，以及对特定文化关联的理解。我们结合自动评测和大规模人工评估，对 28 种 LLM 配置进行了基准测试。即使是前沿模型，在某些社区中的准确率最高也仅达到 22%。我们公开发布了所有相关资源，并开放贡献流程，以扩大该基准的语言和文化覆盖范围。