让我们的机器理解语言已经在机器学习领域发生了重大变化，并改进了各种自然语言处理模型。但相反，在谷歌发布BERT之前，机器很难理解一个句子的潜在含义以及它在一堆句子中的重要性。

让我们考虑以下陈述：


苏珊特是我的朋友。他是一个优秀的程序员，但缺乏优化代码的想法。在我需要的时候，他总是帮助我。

就人类而言，这句话的含义很明确，但对于计算机来说却很难理解。自然语言处理 (NLP) 一直是训练机器理解和评估含义的主要参与者。但是每个自然语言处理 (NLP) 模块在某些时候都缺乏完全理解句子潜在含义的能力。

在上面的示例语句中，每个突出显示的单词都指向“Sushant”这个人，因为经过训练以查找和评估句子中特定关键字的模型将无法在此处连接点。

模型经过专门训练，可以以一种接一种的方式理解和评估单词的含义，这使得上述样本完全超出了范围。现在需要一些东西，它不仅能理解词的后半部分，而且还要理解前半部分。不仅要将含义与下一个单词联系起来，还要将含义与最后一个单词进行比较。

谷歌变压器：

Google 的 Transformer 基于新型神经网络架构，遵循自注意力机制，并且确实超越了英语语言的循环和卷积模型。除了将英语翻译成德语和将英语翻译成法语外，Transformer 还需要更少的计算。

Transformer 在序列上执行小任务并应用自我注意方法，该方法在句子中不同位置的单词之间建立关系。在关于 Sushant 的示例陈述中，重要的是要理解正常的单词“he”指的是 Sushant 本人，这一步就建立了与提到的人的“he-him-his”关系。

然后谷歌介绍了 BERT：

在谷歌的 BERT 出现之前，理解对话式查询非常困难。BERT 代表双向编码器表示，是语言理解领域的一大飞跃。双向一词本身意味着在两个方向上起作用。看到 BERT 超越了之前所有的模型，成为了无监督的预训练自然语言处理，真是太神奇了。

在实践中，BERT 输入了 15% 的单词序列，其中 15% 的单词被屏蔽，保持隐藏。目的是训练模型根据序列中提供的词、未屏蔽词来预测被屏蔽词的值。这种称为掩蔽语言建模的方法可以根据上下文预测句子中被掩蔽的隐藏单词。

在搜索引擎中可以看到这种即兴模型的最佳应用之一，以查找句子的特定含义并提供匹配结果，这极大地有助于过滤所需的信息。曾经有一段时间，谷歌依赖关键字，特别是在博客文章或网站内容中添加的关键字，但随着 BERT，谷歌向前迈进了一步，现在将解释单词，而不仅仅是关键字。谷歌搜索一直在实施 BERT，作为提供更好用户体验的即兴软件。但是使用先进的软件，我们需要实现具有类似能力的硬件，这就是谷歌最新的 Cloud TPU，Tensor Processing Unit 的用武之地。在提升用户体验的同时，谷歌的 BERT 也会影响你的 SEO 内容。

目前，谷歌美国的英语搜索正在做出这些改变。但为了在全球范围内提供更好的结果，谷歌将向其他人实施一种语言的教学，从英语到休息。

考虑以下句子：

那朵花是玫瑰。
那声音让他从座位上站了起来。
如果机器被训练以一对一的方法理解和解释句子的含义，那么“玫瑰”这个词将是一个冲突点。相反，随着最新的发展，并且感谢谷歌开源了 BERT，玫瑰这个词的含义现在将根据上下文而有所不同。目的不是解释花是如何“升起”或噪音如何使他变成一朵“玫瑰”，一朵花。

XLNET 和 ERNIE：

与 Generative Pre-trained Transformer 又名 GPT 和 GPT-2 类似，XLNET 是类似于自回归语言模型的 BERT，它根据上下文单词的向后和向前意图预测下一个单词。超越BERT和XLNET，百度开源ERNIE

Facebook 的另一种 NLP 预训练优化方法：

Facebook 即兴发挥了 Google 的 BERT 提供的功能，并与 RoBERTa 一起进步。使用 Bert 的语言屏蔽策略，Facebook 的 RoBERTa 为系统提供了一种即兴的理解，以预测故意隐藏在表面的文本部分。FB 的 RoBERTa 使用 PyTorch 实现，专注于改进 BERT 中的几个关键超参数。各种公共新闻文章以及未注释的自然语言处理数据集被用于训练 RoBERTa。

在各种任务中提供最先进的性能，并在 GLUE 排行榜上获得 88.5 分，使 RoBERTa 成为真正的基准。

然后微软跳了进来：

展望未来，微软的 MT-DNN（代表多任务深度神经网络）超越了谷歌的 BERT。微软的 NLP 模型建立在 2015 年提出的模型之上，但实现了 BERT 的网络架构。微软与 BERT 的语言模型预训练一起实施多任务学习 (MTL)，已经超过了以前的记录。

微软的 MT-DNN 通过多个“自然语言理解 (NLU) 任务”和九个“通用语言理解评估 (GLUE) 任务”中的八个实现了新的最先进的结果，惊人地超越并提升了以前的基准。

随着这些快速变化，入门级障碍的数量将消失，模型将增加另一个级别的改进。

总而言之，高级语言理解模型专注于理解上下文和单词。理解句子的意图而不是依赖单词。

谷歌的 BERT 一直在即兴创作搜索结果，并且在未来可以提供很多东西。与 BERT 类似，RoBERTa 和 MT-DNN 将显着改进未来最先进的 NLP 模型，我们将见证自我训练模型的各种改进等等。

编辑推荐
1、2022年300个以上最佳免费数据科学课程
2、大厂数据分析面试指南！来自亚马逊、谷歌、微软、头条、美团的面试问题！
3、机器学习模型方法总结
4、历史最全机器学习/深度学习/人工智能专业术语表中英对照表
5、机器学习如何应用于商业场景？三个真实的商业项目
6、数据工作者的自我修养 | 哪些技能是必不可少的？
7、《汗牛充栋：数据分析书籍分享》CDA网校新课上线
8、文本挖掘常用的107个语料库
9、一图读懂“东数西算”工程
10、零基础转行数据分析，看这篇文章就够了

DA内容精选