神经形态芯片与手机的未来
简介：  能够直接在手机上训练大型CNN而不将数据往返发送到云端的能力，是下一代AI应用程序（如实时计算机视觉和安全的自动驾驶汽车）的关键。问题是我们目前的GPU AI芯片无法达到目标。但是神经形态芯片看起来像它们一样。
这篇文章对我来说特别有趣，因为它汇集了我没有看到的两项开发成果，即实时计算机视觉（RTCV）和神经形态神经网络（又称尖峰神经网络）。
几年来，我们一直在关注神经形态网络（在本文结尾处有其他参考），并将其视为下一代（第三代）神经网络。这主要是在追求人工智能（AGI）的背景下进行的，这是我们一直在做的圣杯（或恐怖终结者）。
我们偏离轨道的地方在于，刚起步的神经形态网络仅适用于AGI。事实证明，它们促进了许多更紧密的功能，其中包括实时计算机视觉（RTCV）。事实为何如此，事实证明与神经形态学的结构有关，而不是它们可能做的幻想。这是故事。
实时计算机视觉
在上一篇文章中，我们认为RTCV将成为下一个杀手级应用，使我们再次爱上我们的手机和其他移动设备。问题在于，目前的GPU芯片或要求信号从手机传到云端再传回的架构无法支持实现该目标的路线图。
这种往返数据流将无法支持RTCV每秒大约30帧的处理速度，并且当前的芯片无法做得足够小，无法直接安装在手机上。这是一个基准案例，需要非常强大的CNN边缘计算。
当前GPU的问题
在“ Inside AI Live”会议上，RAIN Neuromorphics首席执行官Gordon Wilson非常有说服力地讲述了这个故事，我将借鉴他的解释。
故事的第一部分是要记住，CNN是基于矩阵乘法的。基本上，这需要将矩阵中的所有元素乘以附加维中的所有值。换句话说，许多小型独立运营。
因此，矩阵代数可以通过卷积+ RELU和CNN的合并步骤，计算图像分类所需的三维矩阵中的所有值。
我们几年前取得的令人高兴的突破是认识到GPU芯片（图形处理单元）在做非常相似的事情，其中??矩阵的每个元素都是屏幕上的一个像素，需要非常快速地重新计算以跟上电影般的动画。
GPU通过使用芯片体系结构来做到这一点，在该体系结构中，为矩阵的每个元素创建了一个单独且非常简单的处理和存储单元。并行进行这些计算可以使屏幕刷新非常快。
事实证明，在CNN的卷积值捕获步骤中，屏幕上的像素非常类似于神经元的权重。GPU可以为每个神经元并行执行此操作，从而使其最终足够快地满足我们的计算需求。
自从至少2006年以来，GPU架构就一直未曾改变过，并且可能在未来的几年中，大多数云计算AI数据中心芯片都将继续保持这种状态。这对于我们遇到的图像计算AI问题非常有效。问题在于它无法扩展到RTCV所需的水平。
这是简单的机制。为了处理尺寸更大的问题（宽度–特征和深度–层），芯片必须以n 2的速率增长（节点数的平方）。但是我们基于简单的von Neumann架构的GPU已经接近某种摩尔定律的极限。
上周，英特尔宣布其基于GPU的顶级AI堆栈在ResNet 50测试中每秒处理7878个图像，而与NVIDIA的7844个图像相比，已超过NVIDIA最好的GPU堆栈。就是这样，将0.4％的改善视为大问题。
您可能没有听说过的另一种架构
最近另一个备受关注的芯片架构是模拟交叉开关CNN加速器。那是一个大嘴巴，但正如我可以解释的那样，这是一个基本的细线栅，其中代表输入值的电压进入一个轴，而代表传递给下一级的值的值则在另一轴上退出。可以直接（模拟）读取两组栅格线相交处的值，以表示节点的权重。
通常，它们是在称为忆阻器的非常小的硅器件上找到的，并且不依赖于每个交叉点（节点）的过程+存储的冯·诺依曼架构。结果，它们非常快，体积小且功耗低。
问题在于，忆阻器上CNN的物理表示需要与您要训练的CNN一样多的输入和输出节点。由于该数目对于RTCV而言非常大，因此芯片上根本没有足够的空间。因此，像GPU一样，它们无法针对此类应用程序充分扩展。
稀疏性
在过去约18个月的时间里，学术研究团体一直在展示传统的CNN可以通过简单地省去不添加到最终计算中的节点来压缩多达90％。这个概念被称为稀疏性。
我们的CNN（和纵横制网络）都完全连接，这意味着一层中的每个节点都连接到下一层中的其他每个节点。大脑无法以这种方式工作，我们长期以来一直在怀疑CNN可以变得更紧凑，因此，只要我们能找出要消除的节点，就可以减少计算量。
到目前为止，研究人员还无法预先预测训练过程中有90％的节点遗漏，但是他们在消除预先训练的CNN方面取得了一些进步，因为它们消除了非价值创造节点。有迹象表明，稀疏的CNN可以缩小90％，因此速度更快，耗电更少。一些测试表明它们甚至可以更加准确。
神经形态芯片
神经形态芯片作为一个整体是基于设计元素，这些元素更接近地模仿大脑的实际工作方式。这包括稀疏性的概念（并非所有脑神经元都“完全连接”）。它还包括解释神经元产生的尖峰信号序列的概念。是否有振幅，重复出现的尖峰次数，尖峰之间的时间延迟或所有这些信息？
IBM从2008年开始的一个项目中，为DARPA创建了TrueNorth神经形态芯片。像Numenta这样的长期创业公司正在探索更基本的大脑现象，例如分层时间记忆，并拥有商业许可产品。位于加利福尼亚州的BrainChip Holdings在澳大利亚证券交易所上市，并具有神经形态芯片，可从拉斯维加斯赌场已经在使用的视频源中学习二十一点等赌场游戏，以发现作弊者。
关键是神经形态芯片的发展领域不是一个单一的概念或体系结构，各个初创企业的目标也不相同。但是，在“ Inside AI Live”会议上展示的RAIN Neuromorphics专注于稀疏性和RTCV等边缘计算应用程序。
他们的第一个产品的图片由随机生成的纳米线网络组成，看起来令人惊讶地类似于大脑神经元中的稀疏连接。他们报告的性能还具有突破性的特征，即在极其小型化且低功耗的芯片中具有非常大的CNN。
根据其首席执行官Per Gordon Wilson的说法，可能需要几年的时间才能将芯片制作得尽可能小，但看来他们的路线图会将它们带到确实适合您手机的芯片上，并在其上训练大型CNN飞。
这就是神经形态芯片如何通过启用下一代视频类应用（如AR增强导航）来重新唤起我们对手机的热爱。世界上有40亿手机用户，新一代自动驾驶汽车正等着它。
题库