通过高级数据存储满足边缘计算需求
随着实时洞察对于企业成功变得越来越重要,使用边缘计算的公司数量正在迅速增长。
边缘计算“使用微数据服务器网络在本地处理和存储大数据,将分布式体系结构的概念提升到一个新的水平。” 它旨在帮助减少延迟问题,使企业在存储和分析需求方面具有更大的灵活性,扩展物联网的有效性,以及“屏幕输入信息,当场处理有用的数据,并将其直接发送给用户。”
根据 加特纳,“边缘计算是一种有助于在数据生成源处或附近进行数据处理的解决方案。” 例如,嵌入在汽车,拖拉机或工厂机械中的传感器或设备在“边缘”收集数据,作为计算机网络分散扩展的一部分。
收集到的数据将被发送到创建位置附近的位置,而不是发送到可用于分析的集中式云。将数据发送到CPU或GPU的过程非常耗能,并且公司担心获得这些见解所需的能量和硬件。在一项2018年研究报告的受访者中部署边缘基础架构的挑战,73%的人说降低服务器和存储的功耗是当务之急,81%的人正在努力减少服务器和存储的空间。
瓶颈
营销副总裁Scott Shadley NGD系统,他说,从历史上看,为满足不断增长的电源需求,人们一直致力于使内存或计算速度更快:
“您开始获得多核处理器。您进入了与英特尔和AMD的Xeon / AMD之战,获得了内存计算功能,人们正在向DIMM中添加闪存,以便您可以完成所有这些工作。”
存储是事后才想到的,即使那是数据所在的地方。数据量已经变得如此庞大,以至于移动数据的能力已经成为一个挑战。不管使用哪种架构以及花费多少钱,“您仍然必须移动它,” Shadley说。
存储介质以前是存储基础结构中最慢的组件,但是随着闪存的出现,它已成为最快的。乔治·克鲁普(George Crump),首席管家瑞士仓储, 说过:
闪存控制器和每个NAND芯片之间的接口(称为通用闪存接口(CFI))比NVMe闪存驱动器使用的PCIe接口具有更大的带宽。尽管网络将变得更快,但对于寻求优化NVMe性能的组织而言,它们仍然始终是主要的障碍之一。”
NGD Systems的创始人兼首席执行官Nader Salessi在最近接受DATAVERSITY?采访时表示,瓶颈是根本的痛点。“每个人都在下午5点试图同时进入两条车道的高速公路。” Dimensional Research研究的受访者表示,计算存储瓶颈是使用AI,
机器学习和实时分析的三大障碍之一,而54%的受访者表示瓶颈发生在10 TB或更小。
部署物联网的组织Shadley说,他们正在寻求5G作为转移更多信息的一种方式,但实际上并非如此。“这是更高的带宽,但是我们已经设法通过移动所有内容(数据)来饱和该带宽。”
NVMe存储之所以??出现,是因为SATA和SCSI具有许多与旋转媒体相关的遗留约束,而使用相同接口的SSD无法克服这些约束。早期的PCIe驱动器可以放置在服务器或平台中,并提供速度,“但随后您必须使用一大堆其他存储来增强它,”他说。在过去的两年中,NVMe的使用已扩展到整个系统中的使用。为了应对由此带来的瓶颈,出现了基于结构和其他解决方案的NVMe,“但是这些都无法解决数据本身无法得到更有效处理的问题。”
计算存储
与其加强带宽, 计算存储技术从不同的角度解决了瓶颈问题。“我们没有移动数据,而是将隔离计算的概念移到了存储设备中,” Salessi说。现在,存储设备可以彼此并行地在驱动器内部进行分析和计算,并且由于不再移动数据,因此该过程更加节能。
Shadley补充说,这些新技术的价格让人可以买单,尤其是正在生成的数据量正在创造实际需求的时候。
计算存储将计算功能直接放在存储上,以使数据可以在其驻留的位置进行处理,从而解决了服务器PCIe总线泛滥的问题。通过将智能带给存储驱动器本身,可以提高系统的整体吞吐量。
根据高级分析师Krista Macomber的说法,除了促进更快的处理速度之外,这还使主机CPU可以得到更好的利用,并可以扩展到更多的工作负载,从而为企业削减成本。 瑞士仓储。计算存储的主要好处与数据的重要性有关。因此,您可以在降低的功率范围内进行更快的数据排序,分析或搜索,并减少对服务器动态随机存取存储器(DRAM)和网络带宽资源的需求。
这个怎么运作
为了说明计算存储如何改变简单的搜索,Shadley告诉应用程序查找驻留在中央处理系统中的所有猫的图片:
“那个CPU正在遍历整个存储空间。因此,您要使用存储中的信息加载内存,进行搜索,获取所需的块,将其存储,刷新内存并执行此重复过程。而且这需要永远。”
相反,计算存储在用户编写应用程序时将其完整保存,并将其实例放入四核处理器中,并在每个驱动器上就地执行。主机仍在响应从存储中提取信息的呼叫,“但是驱动器只是说,'这是您真正想要的图片。我拥有的所有其他东西,您今天不需要。'”在本地搜索设备可提供更快,更有效的响应。他说:不包含图片的驱动器不返回任何数据,并且主机可以在应用程序级别看到输出或结果。
“这非常容易实现,这是您从中获得的最大好处之一。因此,如果我要进行猫图片搜索,运行Hadoop实例或进行压缩-所有这些都可以重新启动,停止或重新运行-在该产品的整个生命周期中您可以执行任何操作。”
沙德利 考虑使用NVMe SSD的未来接口:
“如果我们要将产品投放市场,则必须将其放在有意义的界面上。我们采取了创新的专利观点,并表示我们将通过NVMe总线通过TCP数据包或TCP / IP连接传递信息,并允许信息传递。”
通常,提高性能是以增加功耗为代价的。借助计算存储,随着每秒查询速度的提高,由于无需移动数据,因此能耗降低了。“与每秒计算存储查询相比,性能提高了600%,能耗降低了300%,” Salessi说,这与已发布和发布的特定客户示例有关。
SNIA成员合作制定标准
沙德利(Shadley)谈到成为社区一部分的价值。 存储网络行业协会(SNIA),这是一个非营利性的全球性组织,致力于开发标准和教育计划以促进存储和信息技术的发展。SNIA由185个成员公司以及全球50
Shadley表示,还有其他供应商提供的计算存储解决方案,它们为不同的客户做不同的事情,但成员不将彼此视为竞争,因为他们正在共同努力将计算存储生态系统定义为一个细分市场。他说:“我们现在已经举办了诸如闪存峰会这样的行业活动,我们整天都在讨论计算存储的概念。”
他看到的优点之一是,该工作组不仅针对供应商,因此有各种各样的观点。“我们有消费者和集成商,还有实际的代码编写者,所以我们有类似RedHat的人以及Oracle和VMware。”
NGD系统
NGD将计算存储推向市场的目标是减少物理移动的数据量,尤其是在时间紧迫的情况下。Shadley说,不管使用哪种架构,计算存储都提供了一种在大海捞针中找针的方法,并且只需移动所需的内容,就可以节省大量的带宽,成本和性能。“这就是为什么它与众不同。” 存储硬件一直是公司必须购买的东西,他说:“我们是说,'好吧,既然您必须购买它,那么就让它为您做增值工作。'”
计算存储词汇
来自 SNIA字典在线:
计算存储设备(CSx):计算存储驱动器,计算存储处理器或计算存储阵列。
计算存储驱动器(CSD):提供计算存储服务和持久数据存储的存储元素。
计算存储处理器(CSP):为相关存储系统提供计算存储服务而不提供持久数据存储的组件。
计算存储阵列(CSA):计算存储设备,控制软件和可选存储设备的集合。
计算存储服务(CSS):一种对数据执行计算的数据服务或信息服务,其中该服务和数据与存储设备相关联。计算存储服务可以是固定计算存储服务或可编程计算存储服务。
固定计算存储服务(F-CSS):提供了可以配置和使用的给定功能的CSS。服务示例:压缩,RAID,擦除编码,正则表达式,加密。
可编程计算存储服务(P-CSS):能够被编程为提供一个或多个CSS的CSS 。服务示例:此服务可以托管操作系统映像,容器,伯克利包过滤器,FPGA比特流。

关注 CDA人工智能学院 ,回复“录播”获取更多人工智能精选直播视频!