对于Hadoop的发展前景的展望

第一个方向就是统一资源管理与调度方向，目前各大互联网公司商用的Hadoop集群还是以Hadoop-1.X版本为主，Hadoop-1.X版本的有效性和稳定性已经得到验证，但是Hadoop-1.X也存在很多问题，例如资源分配以槽位为基本单元，没有考虑到应用实际需要的内存，CPU等资源；还有就是Hadoop-1.X仅仅只支持MapReduce模型，计算资源利用率不高，一个MR任务只能包含一个map和一个reduce任务，而实际需求往往是一个DAG任务。针对这些问题社区版Hadoop-2.X提出了YARN框架，在资源管理层来解决这些问题，同时各大商用发行版以及互联网公司也提出类似的框架来解决Hadoop-1.X中的问题。

第二个发展方向就是Hadoop高可用性解决方案，目前的Hadoop还是单Master节点设计，因此集群的规模受到主节点的硬件配置限制，同时可靠性上存在单点故障（SPOF ）问题，这一点目前各大Hadoop商业发行版以及各大互联网公司都在研发多Master节点设计的解决方案，因此也是未来重点方向。

第三个发展方向就是Hadoop生态系统集成，目前Hadoop已经发展为一个完备的生态系统，这个生态系统最底层以HDFS和MapReduce为核心，上层为各种存储，计算，分析等应用系统，如何将这些系统很好的集成起来形成一个类似完善的分布式操作系统和云计算应用系统是一个非常诱人的发展方向。

第四点就是灵活性上，目前的Hadoop为用户提供了非常便利的并行计算框架，但是这个框架本身的流程过于复杂，用户实际的需求往往很简单，例如Hadoop中在map的输出和reduce的输入都需要进行排序，而实际上并不是所有的任务都需要排序，因此对于那些不需要排序的应用就会造成资源的浪费又消耗了时间。如果可以提供是否配需的可控制参数就可以很好的解决类似的问题。因此Hadoop的灵活性上也是一个发展方向。

CDA大数据分析师3月脱产班12月25日开课了 http://cda.pinggu.org/bigdata-jy.html