深度学习后会发生什么
我们被困住了。或至少我们处于平稳状态。谁能记得在算法，芯片或数据处理方面没有取得显着进步的一年中的最后一次吗？几周前去圣塔圣何塞（Strata San Jose）会议并不寻常，没有发现任何引人注目的新进展。
正如我之前报道的那样，我们似乎已经成熟，现在我们的主要努力旨在确保我们所有强大的新技术都能很好地协同工作（融合平台），或者从大量的风险投资中赚钱。
我不是唯一注意到的人。几位与会者和参展商对我说的话非常相似。而就在前几天，我收到了一组备受好评的研究人员的笔记，他们在评估不同高级分析平台的相对优点，并得出结论认为没有任何差异值得报道。
为什么会卡在哪里？
我们现在所处的位置实际上并不是一个糟糕的地方。在过去的两三年中，我们的进步一直都在深度学习和强化学习领域。深度学习为我们带来了处理语音，文本，图像和视频的出色功能。增加强化学习后，我们在游戏，自动驾驶，机器人等方面取得了长足的进步。
基于这些原因，我们正处于商业爆炸的最早阶段，例如通过聊天机器人与客户互动所节省的大量资金；新的个人便利性应用程序（例如个人助理和Alexa）以及我们的私家车中的2级自动化，例如自适应巡航控制，避免事故制动和车道维护。
Tensorflow，Keras和其他深度学习平台比以往任何时候都更易于访问，而且借助GPU，其效率比以往更高。
但是，已知的缺陷清单根本没有解决。
需要太多带标签的训练数据。
需要花费太长时间或太多昂贵资源来训练的模型，仍然可能根本无法训练。
超参数，尤其是围绕节点和图层的超参数仍然是个谜。自动化甚至公认的经验法则仍然遥不可及。
转移学习意味着仅从复杂到简单，而不是从一个逻辑系统到另一个逻辑系统。
我确定我们可以列出更长的清单。正是在解决这些主要缺点的过程中，我们陷入了困境。
是什么阻止了我们
在深层神经网络的情况下，目前的传统观点是，如果我们继续推动，继续投资，那么这些不足将得到克服。例如，从80年代到00年代，我们知道如何使DNN正常工作，我们只是没有硬件。一旦赶上来，DNN与新的开源精神相结合便打破了这个新领域。
所有类型的研究都有自己的动力。特别是一旦您在一个特定的方向上投入了大量的时间和金钱，您就会继续朝着这个方向前进。如果您投入了数年的时间来开发这些技能的专业知识，那么您就不打算跳船。
即使您不太确定也要更改方向
有时，即使我们不确切知道该新方向可能是什么，也需要改变方向。最近，领先的加拿大和美国AI研究人员做到了这一点。他们认为他们被误导了，需要从头开始。
去年秋天，杰弗里·欣顿（Geoffrey Hinton）证明了这种见解，他在80年代末开始DNN推力时获得了很多赞誉。现在是多伦多大学名誉教授，谷歌研究员的欣顿说，他现在对“反向传播”深感怀疑， “反向传播”是DNN背后的核心方法。Hinton注意到人的大脑并不需要所有标记数据即可得出结论，他说：“我的观点已将其全部抛弃并重新开始”。
因此，考虑到这一点，这里是对新方向的简短调查，这些新方向介于实心概率和月球射击之间，但并不是我们所知道的对深度神经网络的增量改进。
这些描述是有意的简短描述，无疑会引导您进一步阅读以完全理解它们。
看起来像DNN但不是的东西
有一系列研究与Hinton的反向传播密切相关，认为节点和层的基本结构很有用，但连接和计算方法需要大幅度修改。
胶囊网络（CapsNet）
从Hinton自己当前的研究新方向CapsNet开始，这是非常合适的。这与使用CNN进行图像分类有关，简单地说，问题是CNN对物体的姿势不敏感。也就是说，如果要通过位置，大小，方向，变形，速度，反照率，色相，纹理等不同来识别同一对象，则必须为每种情况添加训练数据。
在CNN中，这可以通过大量增加训练数据和/或增加可以概括的最大合并层来解决，但只能通过丢失实际信息来解决。
在下面的描述来自CapsNets的许多良好的技术描述之一，这一个从Hackernoon。
胶囊是一组嵌套的神经层。因此，在常规的神经网络中，您会继续添加更多的层。在CapsNet中，您可以在一个图层中添加更多图层。换句话说，就是在另一个内部嵌套一个神经层。胶囊内神经元的状态捕获图像内一个实体的上述属性。胶囊会输出一个向量来表示实体的存在。向量的方向代表实体的属性。向量被发送到神经网络中所有可能的父母。预测向量是基于其自身权重和权重矩阵相乘得出的。具有最大标量预测向量乘积的任何父体都会增加胶囊键。其余的父母减少了他们的联系。这种通过协议进行路由的方法优于当前的最大池化机制。
CapsNet大大减少了所需的训练集，并在早期测试中显示了出色的图像分类性能。
gc森林
2月，我们重点介绍了南京大学新型软件技术国家重点实验室的周志华和季峰进行的研究，展示了他们称为gcForest的技术。他们的研究表明，gcForest在文本和图像分类方面经常击败CNN和RNN。好处是相当可观的。
只需要一部分训练数据。
在您的台式机CPU设备上运行，而无需GPU。
训练速度一样快，在许多情况下甚至更快，并且适合分布式处理。
超参数要少得多，并且在默认设置下表现良好。
依赖于易于理解的随机森林，而不是完全不透明的深层神经网络。
简而言之，gcForest（多谷物级联森林）是一种决策树集成方法，其中保留了深层网络的级联结构，但是不透明的边缘和节点神经元被随机森林与完全随机的树木林配对的组所代替。  在我们的原始文章中了解有关gcForest的更多信息。
派罗和爱德华
Pyro和Edward是两种新的编程语言，将深度学习框架与概率编程融合在一起。Pyro是Uber和Google的工作，而Edward由DARPA资助从哥伦比亚大学出来。结果是一个框架，允许深度学习系统衡量其对预测或决策的信心。
在经典的预测分析中，我们可以通过使用对数损失作为适应度函数来处理此问题，从而惩罚自信但错误的预测（误报）。到目前为止，还没有深度学习的必然结果。
例如，这有望在自动驾驶汽车或飞机上使用，从而使控制人员在做出关键或致命的灾难性决定之前具有一定的信心或怀疑感。当然，这是您希望自主Uber在加入之前知道的事情。
Pyro和Edward都处于开发的早期阶段。
看起来不像深网的方法
我经常遇到一些小型公司，这些公司的平台核心都有非常不同寻常的算法。在我追求的大多数情况下，他们都不愿提供足够的细节，甚至让我无法为您描述那里发生的事情。这种保密性不会使它们的效用失效，但是直到它们提供一些基准测试和一些细节之前，我才能真正告诉您内部发生了什么。当它们最终揭开面纱时，可以将它们视为未来的长凳。
目前，我研究过的最先进的非DNN算法和平台是：
分层时间记忆（HTM）
分层时间记忆（HTM）使用稀疏分布表示（SDR）来建模大脑中的神经元，并执行在标量预测（商品，能源或股票价格等事物的未来价值）和异常检测方面优于CNN和RNN的计算。
这是Palm Pilot的成名杰夫·霍金斯（Jeff Hawkins）在他的公司Numenta中的奉献精神。霍金斯基于对脑功能的基础研究，追求了一个强大的AI模型，该模型并不像DNN那样由层和节点构成。
HTM的特征是可以非常迅速地发现模式，最少可进行1000次观察。这与训练CNN或RNN所需的数十万或数百万个观测值相比。
同样，模式识别不受监督，并且可以基于输入一旦发生变化就识别并概括出模式变化。这导致系统不仅训练非常迅速，而且具有自学习能力，自适应能力，并且不会因数据变化或噪声而感到困惑。
在2月的文章中，我们重点介绍了HTM和Numenta，建议您在此详细阅读。
Note的一些增量改进
我们着眼于真正的游戏规则改变者，但至少有两个值得一提的增量改进示例。这些显然仍然是经典的CNN和RNN，带有反向支撑元素，但它们的效果更好。
使用Google Cloud AutoML进行网络修剪
Google和Nvidia研究人员使用一种称为“网络修剪”的过程，通过删除对输出无直接贡献的神经元，使神经网络更小，更有效地运行。这项进步最近作为Google新的AutoML平台性能的一项重大改进而推出。
变压器
Transformer是一种新颖的方法，最初可用于语言处理（例如，语言到语言的翻译），这已成为CNN，RNN和LSTM的领域。该软件由Google Brain和多伦多大学的研究人员于去年夏末发布，在包括英语/德语翻译测试在内的各种测试中都显示出了显着的准确性提高。
RNN的顺序性质使得更难充分利用现代快速计算设备（例如GPU）的优势，GPU在并行而不是顺序处理方面表现出色。CNN比RNN的顺序要少得多，但是在CNN架构中，合并来自输入的远处部分的信息所需的步骤数仍然随着距离的增加而增长。
准确性的突破来自“自我注意功能”的发展，该功能可将步数显着减少为少量，恒定的步数。在每个步骤中，它都应用了一种自我关注机制，该机制直接对句子中所有单词之间的关系进行建模，而不管它们各自的位置如何。
在此处阅读原始研究论文。
结束语
如果您没有考虑过，您应该担心中国在人工智能方面的巨额投资，以及其明确的目标，即在短短几年内超越美国成为人工智能领导者。
在一个由史蒂夫·莱文的文章是谁在爱可信未来的编辑器，并在乔治敦大学教授，他做的情况下，中国可能是一个快速跟随者，但可能永远不会赶上。原因是因为美国和加拿大的研究人员可以自由地自由选择，并且可以随时随地开始。受制度指导的中国人永远做不到。LeVine的文章中的这句话：
西雅图Outreach.io首席执行官曼尼·麦迪纳（Manny Medina）表示：“在中国，这是不可想象的。” 他说，像Facebook的Yann LeCun和Vector Institute的Geoff Hinton这样的AI明星，“不必征得许可。他们可以开始研究并向前发展。”
正如风投们所说的，也许是时候进行调整了。
题库