如何成为数据工程师:指南
失业率创历史新低,经济蓬勃发展。尽管全球公司都面临短缺。他们需要熟练的专业人员。为了缩小范围,技术概况中的技能紧迫是迫在眉睫的现实。大
数据分析是一个空缺职位和技能紧缺的环境。
虽然将数据科学家和数据工程技能放在同一个文件夹中会很麻烦,但是在您迈出第一步时,最好选择其中一种专业。在此前提下,数据科学家和数据工程师可能看起来是同义词,但是在大数据中它们是不同的功能。
谁是数据工程师?
我们从一个假设开始,即使您在这里的外行知识水平,您也知道什么是大数据。毕竟这是下一件大事。直截了当,数据科学家全都在与数据基础架构进行交互。此搅拌器中使用的技能是统计,数学和强大的
机器学习概念。数据科学家必须从事大量的市场和运营研究,因此,逻辑和推理是至关重要的技能。
这里提到了数据基础架构。因此,在架构,维护和从中生成数据方面应该有很大的一块。这就是数据工程师发挥作用的前提。不用说,您需要强大的流行脚本语言概念以及用于创建强大的数据分析基础结构的工具。语言和工具的问题在于,他们需要不断更新技能。您将从计算机科学或信息技术学位开始。在继续进行过程中,您需要在数据工程认证中获得高分,以证明您的专业知识,以便始终与供应商认可的工具和语言保持同步。
主数据库解决方案
展望未来,对于您来说,数据工程需要在创建数据基础结构时需要对数据库解决方案有深入了解的知识,这对您来说并不难。在最高优先级列表中包括SQL。如果您正在尝试自由职业或作为工程师聘请,那么请结合使用其他平台(例如Bigtable和Cassandra)的知识。毕竟,您的客户不会选择同一平台。
数据仓库和ETL的丰富知识
接下来是数据仓库和创建提取-转换-加载(ETL)架构。在选择了解数据仓库解决方案的同时,从像Amazon Redshift,Teradata,Paraccel和Cloudera这样受欢迎的行业中选择一个。将知识与对ETL工具(例如Informatica-Power Center和Oracle Data Integrator)的理解相结合。当您要处理比例巨大的数据时,请记住存储和数据检索方面。
Hadoop分析
基于Hadoop的分析是整个生态系统的重要组成部分。确保您对Hbase,HIVE,Sqoop和Pig等相关工具有全面的了解。
像专业人士一样编码
当您处理多个平台并构建大量数据的基础架构时,以惊人的速度获得编码游戏,而深入了解C / C ++,Java,Python,Golang,Pearl等将是一大优势,有时要求。
获取完整图片
如果您知道道路的前进方向,则有助于构建。对机器学习和操作系统的深刻理解将帮助您了解整个情况。诸如UNIX,Linux和Solaris之类的操作系统构成??了许多数学工具的基础。
到达那里
在您获得计算机科学或信息技术学位之前,我们已经提到过它。工作领域是动态的,需要混合资格。采购数据工程师证书可帮助您收集多方面的专业知识,而您现在知道这些专业知识是必选的复选框。
当归结为数据仓库时,Cloudera的CCP数据工程师可能是您的选择,Cloudera是一个著名的名字。该认证针对Cloudera工具,并通过ETL工具对您进行认证。该认证可以与其他入门级基础知识结合在一起。
Google的认证专家–数据工程师并非以Cloudera为导向。这是一项入门级证书,可验证候选人对基本数据工程原理的控制权,并准备将其作为助理加入。
来自DASCA的准大数据工程师是另一项入门级认证,随着您在数据工程领域的不断发展,该认证还附带了后续认证。该证书是为刚刚进入数据工程领域的计算机科学和IT毕业生设计的。
IBM认证数据工程师–大数据在这里是一个著名的名字。它侧重于大数据特定的数据工程,而不是追求通用技能。
上面提到的是主要认证,而次要认证(例如Microsoft认证解决方案专家)涵盖了广泛的专业,并且具有子认证(例如MCSE:数据管理和分析)。
1