最近发布的 BERT 是 NLP 领域最具开创性的创新之一，被认为领先于所有其他传统 NLP 模型。

让我们找出什么是 BERT 以及它将如何改变 NLP。


3798233303
什么是 BERT？

BERT（来自 Transformers 的双向编码器表示）是 Google 用于 NLP（自然语言处理）的深度学习算法。它可以帮助计算机和机器像我们人类一样理解语言。简而言之，BERT 可以帮助 Google 更好地理解搜索查询中单词的含义。

例如，在短语“四分之一到六”和“九到六”中，与将其视为相同的搜索引擎相比，人类以不同的方式解释介词“到”。BERT 使搜索引擎能够理解这些差异，从而为用户提供更相关的搜索结果。

BERT 开发于 2018 年，是一种开源的自然语言处理预训练模型。现在，任何人都可以使用它来训练他们的语言处理系统。为了促进更好的搜索查询，它建立在预训练的上下文表示上，例如 Transformer、ULMFiT、OpenAI Transformer、半监督序列学习和 Elmo。

BERT 与其他 NLP 模型之间的主要区别在于，这是 Google 第一次尝试预训练模型，该模型具有高度的双向性，除了纯文本正文之外几乎不使用其他任何东西。由于它是一个开源模型，任何对机器学习算法有充分了解的人都可以使用它来开发 NLP 模型，而无需集成不同的数据集进行模型训练，从而节省资源和金钱。

BERT 的另一个重要区别是它已经在超过 3300 万的庞大文本上进行了预训练。

BERT 是机器学习 职位 最常见的 面试问题之一。

什么是神经网络？

为神经网络设计的算法通过识别或识别模式来工作。预测经济领域的全球趋势、对图像内容进行分类和识别笔迹是神经网络在现实世界中的一些常见应用。他们使用数据集进行模式识别。事实上，BERT 在超过 25 亿字的维基百科上进行了预训练。

什么是自然语言处理？

自然语言处理（NLP）是人工智能的一个分支，旨在帮助机器理解人类的自然交流过程。

你在谷歌的搜索框中输入一个词，就会出现一系列建议。您与公司的聊天机器人进行交流。NLP 使所有这些通信成为可能。  

NLP 实现的进步示例包括社交聆听工具、聊天机器人和智能手机上的单词建议。虽然 NLP 对搜索引擎来说并不陌生，但 BERT 通过双向训练代表了自然语言处理的突破。

BERT 是如何工作的？

BERT 基于查询或句子中的完整单词集训练语言模型，称为双向训练，而传统的 NLP 模型按照单词序列（从右到左或从左到右）的顺序训练语言模型。它有助于语言模型根据周围的单词而不是在它之后或之前的单词来识别单词的上下文。

谷歌将其称为“深度双向”，这是正确的，原因很简单，即只有通过对神经网络的深度分析，才能实现单词所传达的真正含义。

例如，机器很难区分“好起来”这个词是一种美好的愿望，还是“好起来”是指一口有水的井。上下文模型通过映射整个句子的不同表示来工作，以更好地理解它们的上下文。

BERT 是否已经取代了 RankBrain 算法？

RankBrain 是谷歌第一个基于人工智能的算法，用于理解句子中单词的搜索查询和上下文。它使用机器学习为用户查询提供最相关的搜索结果。它匹配查询和网页内容，以更好地理解句子中单词的上下文。重要的是要了解 BERT 并没有被引入作为 Rank Brain 的替代品。事实上，它增加了更多的功能，以便更好地理解和处理用户请求或想要的内容。但是，如果 Google 需要更好地理解一个词的上下文，BERT 肯定会做得更好。Google 可能会使用多种方法来理解单个查询，包括 RankBrain 和 BERT。

题库