CIBuzzBench：中文互联网流行语跨语言理解基准

中国社交媒体催生了一个庞大且持续演变的互联网流行语词汇体系，这些流行语的含义往往并非字面意义，而是深深植根于当地的文化和语用语境。现有研究主要聚焦于在中文语境中解释这些流行语，而对于 LLMs 能否将这类具有文化根基的知识迁移到其他语言，并以英语准确传达其 intended meanings，相关研究仍基本处于空白状态。这种跨语言能力对于安全同样至关重要，因为有害表达可能通过特定文化中的谐音、委婉语、反讽或编码语言来掩盖其冒犯性内容。在本文中，我们研究先进 LLMs 跨语言理解中文互联网流行语的能力。为此，我们推出 CIBuzzBench，这是首个面向中文互联网流行语中英跨语言理解的基准测试。CIBuzzBench 包含 3,001 条中文互联网流行语，并为其标注了英语含义解释、英语对应表达、类别标签和有害性标签。基于这些标注，我们设计了三项评测任务：含义解释、跨语言对应表达匹配，以及基于文化语境的有害性检测。我们在英语提示和中文提示两种设置下，对具有代表性的先进专有 LLMs 和中国 LLMs 进行了评测。结果表明，LLMs 在跨语言理解中文互联网流行语方面仍面临困难，尤其是在细粒度的非字面意义解释、选项扰动下的稳健对应表达匹配，以及经过校准的有害性检测方面。这些发现凸显了具有文化根基的语言现象对多语言 LLMs 和面向安全的评测所持续构成的挑战。数据集和代码可在 https://github.com/SuperYFan/CIBuzzBench 获取。