通过无监督学习提升语言理解能力

我们使用一个可扩展、任务无关的系统，在一系列多样化的语言任务上取得了最先进的结果，同时我们也将发布该系统。我们的方法结合了两个现有理念：transformers 和无监督预训练。这些结果有力地证明，将监督学习方法与无监督预训练相结合效果非常好；这是许多人过去探索过的一个理念，我们希望我们的结果能推动进一步研究，将这一理念应用于更大、更多样化的数据集。