这早已经是公开的秘密了:在大数据分析工具和技术商业化之前,赶紧好好利用一下吧。如果想在2015年在大数据行业找到一份满意的工作,下面的9项技能如果掌握了,也许能带给你一个工作机会。
1. Apache的Hadoop
当然,虽然这已经是Hadoop进入市场的第二个十年了,但无法否认Hadoop在2014年风光无限, 2015年必然势头更加强劲,因为测试集群已大规模投产,软件供应商越来越看好分布式存储和处理架构。虽然大数据平台功能强大,Hadoop并不好运用,因为它需要精心维护和熟练的技术人员来操作。那些了解Hadoop的核心部件如HDFS、MapReduce,Flume,Oozie,Hive,Pig,HBase还有YARN的人员,社会需求量很大。
2. Apache Spark如果Hadoop是在大数据世界算得上响当当,那么Spark则是一匹黑马候选人,拥有活吞其大象兄弟的潜力。in-memory stack正在快速崛起,与 MapReduce分析相比,速度更快,操作更简单,无论是在Hadoop的框架内部还是外面,都有种取而代之的趋势。。人们把Spark定位为大数据的重要组成部分之一,它仍然需要专业技术人员来操作和运行,从而为那些熟悉这一领域的人员提供工作机会。
3. NoSQL
在大数据操作层面,越来越多的工作机会涌向了分布式的规模化数据库,像MongoDB和Couchbase,取代了之前单片SQL数据库处理的工作。在Web和移动应用方面,NoSQL数据库经常是Hadoop数据的来源,在Hadoop内容整理之后,应用数据的变动也要存储在NoSQL数据库中。在大数据的世界,Hadoop和NoSQL的占据了良性循环的两侧。
4.机器学习与数据挖掘
人们在收集数据的同时就已经在挖掘数据了。但在今天的大数据世界中,数据挖掘已经达到了一个全新的水平。在一个大的数据,去年最热门的领域之一是机器学习,这是在2015年的一大突破。能够利用机器学习技术创建预测性分类、推介和个性化应用的人才往往能在市场上大捞一笔。
5,统计与定量分析
这就是是大数据行业工作的主要内容。如果你有定量推理能力,还有数学或者统计学领域的学位,恭喜你,你一只脚已经上了路了。如果你还能熟练使用R,SAS,MATLAB,SPSS,Stata等分析统计工具,那你就可以在这个行业立足了。在过去,大多数的量化分析人才都去了华尔街工作,但由于大数据热潮,全国各地各行各业都需要懂得量化统计分析的人才。
6. SQL
这门为数据分析而生的语言问世已经有40多年了,但即使是老爷爷在这个大数据时代依然可以活得滋滋润润的。虽然它不能用于解决所有关于大数据相关的问题,结构化查询语言的简化使得它可以解决其中大部分。多亏了像Clouder Impala这样的举措,我们看到了SQL成为下一代Hadoop数据存储通用查询语言的希望。
7.数据可视化
大数据有时会很难理解,但在某些情况下,你只能硬着头皮去看这些数据。你可以做多因素或logistic回归分析数据,但有时用像Tableau或QlikView的工具,你能发现你的数据的形状,甚至发现隐藏的细节,它们甚至会改变你加工数据的方式。如果你长大成为一名数据艺术家的话,熟练掌握一两个可视化工具是必须的。
8.通用编程语言
具有用通用语言,如Java,C,Python或Scala等编程经验的人,比那些只懂得数据分析的人更具有就业优势。据Wanted Analytics,对有数据分析背景的电脑程序员的职位增长了337%。那些能够在传统应用和新兴统计学领域都应对自如的人,也能在传统大企业和新兴企业之间游刃有余。
9.创造力和解决问题的能力
不管你有多少先进的分析工具和技术,没有人能取代你通过思考解决问题的能力。大数据的工具必然会发展,新技术也必然会取代上面已经列出的种种技术。但如果你拥有找到问题解决方案的欲望,总会有一份工作在等着你。
来源:datanami