Maswao：面向南非手语的自动采集、预处理与基准评测数据集

近年来，手语处理领域的进展得益于大规模数据集采集的发展，以及姿态估计技术、基于 Transformer 模型的信号处理和模型优化等领域算法复杂性的提升。然而，在全球公认的 200 多种手语中，只有美国手语、英国手语和德国手语等少数几种从这些进展中受益，其余手语仍然落后。本研究旨在弥合这一技术差距，以南非手语（SASL）为试验平台，提出一个仅需极少人工干预即可自动采集和预处理手语数据集的框架。具体而言，我们利用新闻广播等公共资源自动采集 SASL 视频内容。此外，我们使用现有的自动语音识别（ASR）工具，将视频附带的音频流转换为文本。随后，我们裁剪出视频中的手语区域，并使用梯度下降法定位运动量的低谷，即无运动片段，以确定长视频中的句子结束位置，从而构建句子级弱对齐平行语料库——Maswao（手势）数据集。最后，我们使用循环神经网络和 Transformer 模型，在手语到文本翻译任务上对这一弱对齐数据集开展基准评测，以比较两类模型各自的特性。结果表明，文献中提出的 Transformer 模型优于循环神经网络基线，其中表现最佳的 Transformer 的 BLEU-1 至 BLEU-4 得分分别为 13.78、5.21、2.52 和 1.54，ChrF 为 18.09，ROUGE-L 为 10.51。这些结果表明，该任务仍具有研究潜力，值得进一步探索。