在AI炒作中保持乐观和乐观
在NIPS 2016上，有一个史无前例的故事。每个AI爱好者都对未知的AI创业公司“ Rocket AI”感到震惊。
与这家热门创业公司相关的名字是人工智能领域的先驱，并被告知媒体即将发布重要公告。甚至举办了一个研讨会，其中一位研究人员向充满研究人员和媒体人员的屋子解释了“时空递归最佳学习”的概念。
整个社区都对术语“临时递归最佳学习”，“ Jacobian优化内核扩展”，“全自动内核扩展”这些术语满口热议，其中一些是由领先的AI研究人员创造的。这些在网络上大肆宣传，以至于吸引了5家主要风投向他们寻求投资。
关于Rocket AI的收购也有传言-一日之内。
后来才被弄明白，只是开个玩笑！
临时循环最优学习= TROL
Jacobian优化内核扩展= JOKE
全自动内核扩展= FAKE
如果您仍然没有开玩笑的话，您可能应该给自己 买一件令人垂涎的RocketAI T恤，每件$ 22.99。
在NIPS16上的Rocket AI发行故事是一个很棒的教训，说明了为什么必须将噪声/炒作与浪涌技术周围的实际进步区分开来。
但是，说实话，当有人沉迷于AI狂暴时，我们可以灌输吗？这种炒作一直与具有改变世界潜力的技术有关。在许多方面，它已经是。在奢侈的宣传中，还有许多成功的故事。无人驾驶汽车，AlphaGo击败世界№1Go玩家，OpenAI DOTA2机器人挑战顶级专业玩家，由于计算机视觉的进步而在医疗保健和时尚领域成功应用的迅速增长，证明了AI的到来以及它将继续存在的事实。
最近，已经有大量的NLU / NLI / QA数据集被众包并发布给研究社区。无疑，它推动了NLP应用程序的DL研究工作。BABI启发了多种形式的存储网络，SQUAD / newsQA推动了BiDAF，AOA，助记符阅读器，融合网等，SNLI / MultiNLI，RTE催生了众多关注网络。
但是，令我担忧的一个令人困扰的趋势是，年轻的AI从业人员过分依赖SOTA（最先进的技术）来解决相同的问题。无论您是从事AI基础研究的研究人员，是利用现有框架/算法解决特定业务问题的产品开发人员，还是评估产品的执行人员，都应始终牢记任何此类SOTA的功能和局限性，及其对给定用例/数据集的适用性。
毕竟，“人工智能中没有免费的午餐”。
让我们用一些流行的数据集对这些问题进行一些观察，这些数据集用于对NLU / NLI算法进行基准测试，以及针对这些问题的最新解决方案。
流行的最新解决方案和数据集的问题
与V1.1相比，V2.0中添加了对抗性示例后，小队性能的最新模型急剧下降。
在Squad数据集上表现最佳的模型在NewsQA testSet上仅产生接近40％的f1分数。
对于SNLI挑战，InferSent似乎依靠单词级启发式方法来获得高性能。大多数自相矛盾的句子在单词上没有重叠，并且有很高的重叠，因此很有必要。这表明推断者可能只是在学习启发式的思想，即高重叠可能意味着“蕴含”，否定存在可能意味着“矛盾”。对于词之间具有高度重叠的词对，而词对之间唯一的标记差异是反义词，则将它们归类为“矛盾”。如果存在其他非反义词，则会使预测失败，将其归类为“蕴含”。
尝试在SNLI数据集上训练fastText分类器，并确保模型不会看到前提，而只能根据假设进行观察和预测。准备莫名其妙，因为预测精度将远高于某些基线！如果不同时考虑假设和前提就无法解决这个任务，找到一个没有前提就可以很好地工作的模型是一件很有趣的事情。
多数情况下都使用了定量限定词和最高级词，以使句子看起来相似，但始终与假设存在偏差。因此，在大多数情况下是“矛盾”。
否定，上位词和下位词的存在以及单词的重叠在很大程度上构成了蕴涵类。
这些空前的基准测试（SNLI推理问题：训练准确性为95％，测试准确性为91％）可能会给人一种幻想，即自然语言推理已经解决了。但是，这些证据却相反。
特斯拉AI总监安德烈·卡帕蒂（Andrej Karpathy）展示了一些简单的示例，说明如何通过添加少量噪声来欺骗深度学习模型。
熊猫被高度认可为长臂猿。
Coursera联合创始人兼Google脑创始成员Andrew NG声称，人工智能系统比X光医生能够更好地从X射线报告诊断疾病。
后来的结果证明，要使放射科医生完全过时，人工智能还有很长的路要走。
前Facebook AI负责人Yann Lecunn对Spectrum的采访中一些有趣的摘录。
研究前沿
让我们看一下计算机视觉和NLU中AI的最新突破。Nvidia，OpenAI，Microsoft和Google一直是先行者。
以下是执行混合匹配和图像处理的OpenAI模型的图像输出。尽管它们不是真正的人类，但输出的清晰度非常高，看起来很自然。第三幅图像显示了Nvidia的模型如何在极度模糊的图像中自动重新创建无法识别的对象。
来源：https：//blog.openai.com/glow/（图像处理和混合匹配）
资料来源：https：//www.dpreview.com/news/0229957644/nvidia-researchers-ai-grai ...
使用更少的数据学习：元学习-?元学习是学习学习的过程。元学习考虑任务的分布，并概括性地以很少的数据有效地学习任务。爬行动物，MAML是一些流行的元学习算法。当前，大多数机器学习用例都依赖于有监督的学习方法，需要大量的稀有注释数据。元学习方法的突破确实可以为构建学习系统铺平道路，该学习系统可以使用非常少的数据进行学习，就像人类如何通过少量观察来学习一样。
自动化注释：随着强大的采样策略和预测可靠性估计的发展，这方面已经取得了很大进展，可以帮助对需要注释的最小实例集进行采样，以使模型近似足以复制的函数在完整数据集上训练的模型的行为。通过在很大程度上减少人工工作，可以将这些框架应用于自动化注释过程。
多任务学习：您能否将这些NLP任务中的每一个都转换为问答任务并通过一个网络来解决？问题解答，机器翻译，摘要，自然语言推断，情感分析，语义角色标记，零镜头关系提取，面向目标的对话，语义解析和常识代名词解析？
识别注释偏见的评估框架：在一些用于研究目的的著名公共语料库中发现的问题（SQUAD 1.1，SNLI）非常明显地说明了注释偏见的问题。如果消除了这些注释偏差，许多现有的最先进的算法可能无法在这些数据集上发挥出色的作用，这只会诱使研究界推动极限并探索解决这些问题的更好方法。
非监督式学习方法：在监督式学习方法中进行了大量研究，众所周知的是，在有大量训练数据的情况下，训练系统进行预测/识别/生成等各种活动就不再困难了。数据收集，注释，管理是一个扩展的过程，对于许多实际问题，这成为了瓶颈。
无监督的情绪神经元，使用变换器的无监督语言建模和无监督的预训练，产生了令人鼓舞的结果。
上下文和有效的单词表示。Word2vec，Glove＆Cove是一个好的开始。FastText使其变得更好，基于ELmo在许多NLU / NLI任务上的性能，ELmo似乎已经超越了其他产品。单词的上下文单词表示已被证明在下游任务中很有帮助。
通过带有内存模块的深度学习，我们开始在自然语言处理中看到令人印象深刻的结果。这些系统的基本思想是用连续的向量表示单词和句子，将这些向量转换为深度体系结构的各层，然后将它们存储在一种关联存储器中。这对于回答问题和进行语言翻译非常有效
寻找更好的优化器：使用机器学习找到更好的优化器被证明是非常有益的。优化器在深度学习架构的性能中起着举足轻重的作用。一些最常用的优化器是Adam，AdaGrad，SGD等。寻找有效的优化器与发现更好的优化算法一样重要。Google AI展示了强化学习可用于为深度学习架构搜索更好的优化器。PowerSign和AdaSign是使用它们发现的，并且已证明在许多DL用例中都非常有效。
零次学习/单次学习：是否可以对监督学习模型进行培训，以预测不存在或已从培训数据中完全删除的课程？
解释与准确性
在2017年NIPS上，与Ali Rahimi和Yann LeCun进行了有趣的辩论在Rahimi关于机器学习成为“炼金术”的言论上'之以鼻。Ali指责目前的深度学习系统是一个黑匣子或充其量只是一门实验科学，Ali认为AI系统需要基于可验证，严格，透彻的知识，而不是基于炼金术。LeCun认为“缺乏清晰的解释不会影响深度学习解决问题的能力！” 尽管LRP（逐层相关性传播），深泰勒级数和LIME（局部可解释模型不可知性解释）是使这些系统解释其预测的几种方法，但它仍处于起步阶段。还是我们需要通过说以下方式来解决这场辩论：“这可能只是智能的一部分，只有一部分可以接受理性的解释。其中有些只是本能或潜意识，
支持相信即将来临的AI冬天的声音与相信AGI即将来临的热情乐观主义者一样强烈。尽管可能不太可能在不久的将来实现后者，但如果AI的突破被夸大了超出事实范围，那么前者的可能性就更大。
人工智能研究人员必须在微妙的平衡之间取得平衡：对可以实现的目标保持乐观，但不要过度推销可以做什么。指出您的工作有多困难，但不要让它听起来毫无希望。您需要对出资者，赞助者和雇主，同行和同事，公众以及您自己诚实。当对未来的发展存在很多不确定性时，或者诚实度较低或自欺欺人的人对未来的成功提出野蛮主张时，这是困难的。这就是为什么我们不喜欢大肆宣传：它是由不诚实或自欺欺人的人制造的，这使认真而诚实的科学家的生活变得更加困难。” —? Yann Lecunn
题库