是什么推动了NLP和GPT-3的创新？
NLP在2019年和2020年取得了长足发展
是什么推动了NLP的飞速发展，这种趋势会继续吗？
这是解释NLP兴起的简单方法
今天，GPT-3展示了一些惊人的结果。有人称它为AGI（人工通用情报）。GPT由OpenAI创建，并获得了Microsoft的大量投资，它代表了Generative Pretrained Transformer。
这三个词为NLP的成功和未来发展提供了线索
让我们从“变形金刚”开始。Transformer于2017年推出，是专为NLP设计的深度学习模型。像递归神经网络（RNN）一样，变形金刚可以处理顺序数据。但是，与RNN不同，由于具有关注机制，因此Transformer不需要按顺序处理数据。与RNN相比，这允许在Transformers中进行更多的并行化。反过来，训练期间的并行化允许在更大的数据集上进行训练。
这又导致了变压器的第二个好处，即可以进行预训练的  模型。这类似于CNN中的转移学习，它使您可以在现有模型的基础上构建更复杂的模型。最早的示例是BERT（来自变压器的双向编码器表示）。BERT本身导致了在特定领域中受过训练的其他模型，例如BioBERT：针对...的预训练生物医学语言表示模型
最后，模型是Generative。GPT-3是最好的例子。GPT-3是基于变压器的模型，使用45TB文本数据和1
结论
变压器机制是推动NLP的主要创新。变压器使新模型可以在其他模型的基础上构建（例如，CNN的“转移学习”方法）。随着在更大的语料库上进行训练的能力的增强，像GPT这样基于变压器的模型将变得更加“神奇”。  

关注 CDA人工智能学院 ，回复“录播”获取更多人工智能精选直播视频！