TransBERT：领域特定语言建模中的合成翻译框架
TransBERT: A Framework for Synthetic Translation in Domain-Specific Language Modeling
精选理由
为低资源语言专业领域建模提供可复现的合成翻译数据与工具方案。
AI 摘要
专业领域中非英语语言数据的匮乏，严重限制了高效自然语言处理（NLP）工具的发展。我们提出了 TransBERT，这是一种仅使用合成翻译文本对语言模型进行预训练的新型框架，并推出了可扩展的翻译工具包 TransCorpus。我们以法语生命科学领域为重点，研究结果表明，仅利用合成翻译数据，也能在各种下游任务中取得当前最先进的性能。我们发布了 TransCorpus 工具包、TransCorpus-bio-fr 语料库（包含 36.4GB 的法语生命科学文本）、TransBERT-bio-fr 及其配套的预训练语言模型，以及用于预训练和微调的可复现代码。我们的结果凸显了在资源丰富的翻译方向上利用合成翻译，为低资源语言/领域组合构建高质量 NLP 资源的可行性。