人大经济论坛CDA大数据分析师培训学习心得




CDA 大数据分析师的课程让我对“大数据”这个概念有了更为具体的认识。以往对于“大数据”，我的认知还是仅仅停留在概念层面上。而上完课后，尤其是了解如何搭建Hadoop平台以及其生态环境之后，“大数据”这个概念终于落地了。


Hadoop的核心框架是Hdfs和MapReduce。Hdfs是分布式文件系统，其主要作用是存储及读取数据。而MapReduce实际上是Hadoop工作的核心思想。任何想要在Hadoop集群上完成的算法都必须基于MapReduce的思想实现。因此，我认为想要学习Hadoop，其核心在于充分理解MapReduce。而同时，MapReduce的理解也是理解大数据分析思想的关键，即如何将庞大的数据分解成可以进行操作的小数据集。