BrailleBench：研究大型语言模型中的多标准盲文理解

尽管大型语言模型（LLMs）在获取知识和计算辅助方面发挥着中介作用，但其能力也应以同样方式惠及弱势群体。然而，现有 AI 系统是否足够包容，能让盲人和盲聋用户通过盲文访问相同功能，目前尚不清楚；盲文的标志符、缩写以及数字表示形式对模型理解提出了独特要求。为此，我们提出 BrailleBench，这是一个用于从不同标准评估 LLMs 盲文理解能力的基准。BrailleBench 对齐了来自五个数据集的 5,570 个实例，涵盖数学、常识以及多跳问答，并覆盖英语和 1 级、2 级盲文。我们设计了不同配置，以了解系统是否能够理解以盲文撰写的内容、用盲文表达答案，以及完成端到端的盲文交互。为确保质量并防止评估偏差，该基准通过一个确定性的、经专家审查的流程构建，使用自建的 Braille Toolkit，且不使用任何由 LLMs 生成的数据实例。我们从多个方面评估了六个具有代表性的 LLMs。结果揭示了印刷英语能力与盲文可访问性之间持续存在的差距。盲文理解与表达呈现不对称性，其中与 1 级盲文相比，2 级盲文在输入侧尤其脆弱，而完全使用盲文的请求会进一步降低性能。实验观察为未来 Braille AI 系统的发展提供了有价值的指导。BrailleBench 中的所有相关资源均已公开，可供未来研究使用。