实时计算机视觉可能会成为下一个杀手级应用，但我们将需要新的芯片
简介：  需要在边缘处理视频DNN的实时计算机视觉（RTCV）可能是下一个杀手级应用程序，它将与我们的移动设备实现新的恋爱关系。问题在于当前的GPU无法将其削减，我们必须再次等待硬件赶上。
机器学习和人工智能（AI / ML）的整个历史一直是关于技术与硬件之间的竞争的故事。有时候我们拥有这些技术，但是硬件跟不上。相反，有时候硬件已经超越了技术。坦率地说，主要是等待硬件赶上来。
您可能没有考虑过，但是我们现在处于等待技术的硬件谷之一。当然，有很多基于云的计算和更快的GPU芯片可以使CNN和RNN正常工作。但是我们要克服的障碍是延迟，特别是在计算机视觉方面。
如果您想在手机或任何其他边缘设备上利用计算机视觉（您是否曾经将自动驾驶汽车视为边缘设备），那么数据必须进行从本地摄像头到云计算再返回的完整往返过程。再次发生任何事情之前。
有一些不错的应用程序可以很好地延迟200毫秒甚至更长的时间。大多数医疗保健应用程序都可以，聊天机器人和文本/语音应用程序也可以。当然，搜索和电子商务并不介意。
但是事实是这些应用程序正在迅速接近饱和。如果您想要一个更友好的单词，请选择成熟度。他们不再让我们兴奋。去过也做过。竞争性应用正在逐渐吸引更多关注，而经济开始对他们不利。如果您正在使用这种往返数据模型进行创新，那么您可能为时已晚。
每个人真正想知道的是下一件大事。是什么使我们与手机或智能耳塞或增强眼镜的连接更加紧密。那件事很可能是“边缘”或“实时计算机视觉”（RTCV）。
RTCV可以做什么常规计算机视觉无法做到的
往返数据模型实际上无法解决依赖电影般实时影像（30 fps，大约33 ms或更佳响应）的任何任务。仅举几例：无人机，自动驾驶汽车，增强现实，机器人技术，无收银台结帐，零售盗窃视频监控，驾驶员机敏性监控。
等一下你说。所有这些东西目前都存在并起作用。是的，不是。每个人都在研究芯片以使其更快，但是有两种形式的悬崖。首先，适用于此往返速度的摩尔定律，其次，要使用RTCV的设备数量庞大。
5G呢？那是一个临时的插头。事实是，往返数据架构在某种程度上总是会效率低下，我们需要的是一种能够执行RTCV的芯片，该芯片必须足够小，足够便宜且足够快，可以直接在我们的手机或其他设备上使用边缘设备。
顺便说一句，如果处理正在您的手机上进行，那么破解数据流的可能性就完全消失了。
AR增强导航最有可能成为杀手级应用
这是一个名为Phiar的应用的屏幕截图，该应用的共同创始人兼首席执行官Chen Ping Yu在上周的“ Inside AI Live”活动中展示了该屏幕。
陈平的观点很简单。由于我们手机上的摄像头很可能已经面向前方，为什么不直接将指令叠加在图像AR样式上，并消除因不得不在其他地方浏览更混乱的2D地图而造成的混乱。
此类应用需要至少30 FPS（或更快）的处理速度。基本上，实时图像上的AR叠加是RTCV的核心，您可以开始看到它的吸引力。
所需的计算将变得疯狂
即使没有RTCV，通过使用越来越多的计算量，我们最成功的DNN也能取胜。
RAIN Neuromorphics首席执行官Gordon Wilson在同一场“ Inside AI Live”活动中使用了这张图来说明这些观点。自从我们在2012年使用AlexNet到2018年在AlphaGo上取得成功以来，突破性的赢家通过将所需计算量增加了300
每3?个月增加一倍，是由越来越大的DNN驱动的，其中越来越多的神经元处理更多的特征并变得越来越大。具体来说，并不是说我们的DNN越来越多，层次更多，真正的问题是它们需要变得更宽，输入的神经元更多，功能更多。
更多，更快的GPU有什么问题？
尽管Nvidia是DNN GPU的王者，尽最大努力，但训练和运行计算机视觉应用程序所需的硬件堆栈大约是三到四台笔记本电脑的大小。那不适合您的手机。
由于我们将在下一篇文章中讨论的一些非常有趣的技术原因，GPU不太可能将其用于实时的下一代计算机视觉边缘处理。
好消息是，大约有100家从事AI专用芯片工作的公司，从Nvidia之类的巨头到众多初创公司。也许最有趣的是，该应用程序将介绍神经形态芯片的时代。下周更多细节。
1