评估 LLMs 对海地克里奥尔语的文化意识

大型语言模型（LLMs）在高资源语言和低资源语言之间表现出显著的性能差异。除了任务表现较低之外，它们还常常无法捕捉代表性不足社群的文化规范和价值观。在这项工作中，我们首次对 LLMs 在海地克里奥尔语中的文化意识进行了系统评估；海地克里奥尔语有数百万人使用，但在数字资源中严重缺乏代表性。我们使用由母语者整理的、具有文化显著性的提示基准，在文本填充设置下，从四个互补维度——特异性、偏见、多样性和变异——评估文化意识。我们的结果揭示了海地克里奥尔语与资源更丰富的法语之间在文化意识上的明显差距，其中海地克里奥尔语的表现跨领域更不均衡，并且更容易受到法语语言干扰的影响。故事生成进一步揭示了对海地人物的反复刻画往往围绕苦难与韧性展开，表明即使是正面描写也可能编码刻板化叙事。我们的代码、基准和评估框架均已公开提供。