NLP与NLU：从了解语言到处理语言
随着人工智能的进步和技术变得越来越复杂，我们期望现有的概念能够接受这种变化，或者自我改变。同样地，在该领域自然语言的计算机辅助处理的，应当概念自然语言处理让位给自然语言理解？或者是两个概念之间的关系微妙，更复杂的是仅仅是线性技术的进展如何？              
在这篇文章中，我们将仔细审查了NLP和NLU和他们的概念龛中AI的相关技术。   
重要的是，尽管有时可以互换使用，但它们实际上是两个有重叠部分的不同概念。首先，它们都处理自然语言和人工智能之间的关系。他们都试图弄清诸如语言之类的非结构化数据，而不是诸如统计数据，操作等之类的结构化数据。但是，NLP和NLU与许多其他数据挖掘技术相反。   
资料来源：https : //nlp.stanford.edu/~wcmac/papers/20140716-UNLU.pdf
自然语言处理
NLP是一个已经建立的，几十年历史的领域，在计算机科学，人工智能和日益增长的数据挖掘领域中运作。 NLP的终极目标是通过机器阅读，破译，理解和理解人类的语言，将某些任务从人类身上夺走，然后让机器代替它们来处理。? ommon这样的任务的现实世界的例子是在线聊天机器人，文本summarizers，自动生成的关键字标签，以及工具分析给定文本的情绪。
NLP的作用
NLP从广义上讲可以指代广泛的工具，例如语音识别，自然语言识别和自然语言生成。但是，从历史上看，NLP最常见的任务是：
标记化；
解析
信息提取；
相似度;
语音识别
自然语言和言语世代等等。
在现实生活中，NLP用于文本摘要，情感分析，主题提取，命名实体识别，词性标注，关系提取，词干，文本挖掘，机器翻译和自动问题解答，本体填充，语言建模和我们能想到的所有与语言相关的任务。
NLP技术
NLP的两个支柱是句法分析和语义分析。
总而言之： NLP依靠机器学习通过分析文本语义和语法从人类语言中获取含义。
自然语言理解
虽然NLP的历史可以追溯到1950年代，但是当计算机程序员开始尝试使用简单的语言输入时，NLU却在1960年代开始开发，其目的是希望计算机能够理解更复杂的语言输入。自然语言被认为是NLP的子主题，其目的范围较窄，主要集中在机器阅读理解上：使计算机理解文本的真正含义。
NLU实际做什么
与NLP相似，NLU使用算法将人类语音简化为结构化本体。然后，AI算法会检测到意图，时间，位置和情感。但是，当我们查看NLU任务时，我们会惊讶于在此概念上构建了多少NLP：  
NLU任务
自然语言理解是许多过程的第一步，例如，对文本进行分类，收集新闻，对单个文本进行归档以及在更大范围内分析内容。 NLU的实际示例包括一些小任务，例如在某种程度上基于理解文本发出短命令，例如根据基本语法和适当大小的词典将电子邮件重新路由到合适的人。更复杂的工作可能是完全理解新闻文章或诗歌或小说中的含义阴影。
总结： 最好将NLU视为实现NLP的第一步：在机器可以处理语言之前，必须首先理解它。
NLP和NLU如何关联
从其任务可以看出，NLU是自然语言处理的组成部分，该部分负责像人一样理解特定文本所呈现的含义。与NLP的最大区别之一是NLU超越了对单词的理解，因为它试图解释处理常见人为错误（例如错误发音或转置字母或单词）的含义。
已驱动NLP的假设是一组由乔姆斯基在句法结构，1957：“以语言L的语言分析的基本目的是将分离的语法，其为L的从句子序列不通其是序列而不是L的句子，而是研究语法序列的结构。”   
实际上，语法分析已用于多个任务中，通过将语法规则应用于一组单词并通过多种技术从中得出含义来评估语言与语法规则的一致程度：
词法化：将单词的变体形式简化为单一形式，以便于分析。
词干：将变形词切成其词根形式。
形态分割：将单词分为词素。
分词：将连续的文本分成不同的单元。
解析：句子的语法分析。
词性标记：识别每个单词的词性。
破句：将句子边界上连续的文本。
句法分析技术
但是，语法正确性或不正确性并不总是与短语的有效性相关。 想想一个经典的例子，它是一个无意义而又语法上的句子：“无色的绿色思想疯狂地睡觉”。更重要的是，在现实生活中，有意义的句子通常包含较小的错误，可以归类为不合语法的。人机交互允许产生的文本和语音中的错误，通过出色的模式识别并从上下文中获取更多信息来补偿它们。这表明以语法为中心的分析存在不平衡性，并且需要更加关注多级语义。     
语义分析是NLU的核心，它涉及应用计算机算法来理解单词的含义和解释，并且尚未完全解决。
这里有一些 语义分析技术，仅举几例：
命名实体识别（NER）： 确定可以识别并分类为预设组的文本部分。
词义消除： 根据上下文赋予词义。
自然语言生成：使用数据库导出语义意图并将其转换为人类语言。
但是，要完全理解自然语言，机器不仅需要考虑语义提供的字面含义，还需要考虑预期的消息或对文本试图实现的目的的理解。此级别称为实用分析，它只是开始被引入NLU / NLP技术中。目前，我们在情感分析中可以看到这一点：评估文本中包含的消极/积极/中立的感觉。   
NLP的未来
为了建立一个能够以类似于人的方式与人互动的聊天机器人的目标，并 最终通过图灵的测试，企业和学术界都在NLP和NLU技术上进行了更多投资。 他们想到的产品旨在轻松，不受监督，并能够以适当且成功的方式与人们直接互动。
为实现此目的，研究在三个层面上进行：
语法-了解文字语法
语义学-了解文本的字面意思
语用学-了解文本试图实现的目标
不幸的是，理解和处理自然语言并不像提供足够多的词汇表并以此来训练您的机器那样简单。为了取得成功，NLP必须融合来自以下领域的技术：语言，语言学，认知科学，数据科学，计算机科学等等。只有结合所有可能的观点，我们才能破解人类语言的奥秘
题库