Hadoop 3：与Hadoop 2和Spark的比较
Hadoop 3于2017年12月发布，标志着数据科学新时代的开始。Hadoop框架是整个Hadoop生态系统的核心，其他各种库也强烈依赖它。
在本文中，我们将讨论Hadoop 3与Hadoop 2相比的主要变化。我们还将解释Hadoop和Apache Spark之间的区别，并建议如何为特定任务选择最佳工具。
一般信息
Hadoop 2和Hadoop 3是用Java开发的数据处理引擎，分别于2013年和2017年发布。创建Hadoop的主要目的是维护磁盘上的数据分析，称为批处理。因此，本机Hadoop不支持实时分析和交互性。
Spark 2.X是由Scala开发并于2016年发布的处理和分析引擎。由于许多大型Internet服务强烈依赖于立即处理数据的能力，因此信息的实时分析变得至关重要。因此，Apache Spark是为实时数据处理而构建的，现在很流行，因为它可以以交互方式有效地处理实时信息流和处理数据。
Hadoop和Spark都是开源的，Apache 2许可。
抽象水平以及学习和使用的难度
这些框架之间的主要区别之一是抽象级别，该级别对于Hadoop而言较低，而对于Spark而言较高。因此，Hadoop的学习和使用更具挑战性，因为开发人员必须知道如何编写许多基本操作的代码。Hadoop只是核心引擎，因此使用高级功能需要其他组件的插件，这会使系统更加复杂。
与Hadoop不同，Apache Spark是用于数据分析的完整工具。它具有许多有用的内置高级功能，这些功能可与Spark的核心概念即弹性分布式数据集（RDD）一起使用。该框架在集群中包含许多有用的库。例如，MLlib允许使用机器学习，Spark SQL可用于执行SQL查询，等等。
硬件和成本
Hadoop使用磁盘工作，因此它不需要大量RAM即可运行。这可能比拥有大内存便宜。由于容错提供系统的变化，Hadoop 3比Hadoop 2需要更少的磁盘空间。
Spark需要大量RAM才能在内存模式下运行，因此总成本可能比Hadoop高。
支持编程语言
Hadoop的两个版本都支持使用Hadoop Streaming的几种编程语言，但主要的是Java。Spark 2.X支持Scala，Java，Python和R.
速度
通常，Hadoop与Spark配合使用时会比Spark慢。Hadoop无法在内存中缓存数据。由于MapReduce增加了地图输出收集器的本机Java实现，因此Hadoop 3的运行速度比Hadoop 2快30％。
Spark可以比Hadoop快100倍地处理内存中的信息。如果使用磁盘，Spark比Hadoop快10倍。
安全
由于使用 Kerberos （计算机网络身份验证协议）和访问控制列表（ACL）的支持，Hadoop被认为比Spark更安全。反过来，Spark仅使用共享的秘密密码提供身份验证。
容错能力
Hadoop 2中的容错能力是由复制技术提供的，复制每个信息块以创建2个副本。这意味着Hadoop 2不会存储1条信息，而是存储三倍以上。这就产生了浪费磁盘空间的问题。
在Hadoop 3中，容错由擦除编码提供。该方法允许使用另一个块和奇偶校验块来恢复信息块。Hadoop 3在每两个数据块上创建一个奇偶校验块。与Hadoop 2中的复制相比，这仅需要1.5倍的磁盘空间，而Hadoop 2中则需要3倍的磁盘空间。Hadoop3中的容错级别保持不变，但是其操作所需的磁盘空间更少。
Spark可以通过重新计算 DAG （有向无环图）来恢复信息。DAG由顶点和边缘组成。顶点表示RDD，边表示RDD上的操作。在某些数据丢失的情况下，Spark可以通过将操作序列应用于RDD来恢复数据。请注意，每次您需要重新计算RDD时，都需要等到Spark执行所有必要的计算。Spark还创建检查点以防止失败。
纱版
Hadoop 2使用YARN版本 1。YARN （另一个资源协商器）是资源管理器。它管理可用资源（CPU，内存，磁盘）。此外，YARN还执行Jobs Scheduling。
YARN已更新到Hadoop 3中的版本2。进行了几项重大更改，提高了可用性和可伸缩性。YARN 2支持流-YARN应用程序的逻辑组，并在流级别提供聚合指标。收集过程（写入数据）和服务过程（读取数据）之间的分离提高了可伸缩性。此外，YARN 2使用Apache HBase作为主要的后备存储。
Spark可以在具有YARN或Mesos的群集上独立运行。
名称节点数
Hadoop 2支持 整个名称空间的单个活动NameNode 和单个备用NameNode，而Hadoop 3支持多个备用NameNode。
Spark在管理SparkContext的主节点上运行驱动程序。
文件系统
Hadoop 2的主要文件系统是 HDFS -Hadoop分布式文件系统。该框架还与其他几个文件系统，Amazon S3和Azure存储之类的Blob存储以及兼容的分布式文件系统兼容。
Hadoop 3支持所有文件系统，如Hadoop2。此外，Hadoop 3 与Microsoft Azure数据湖和Aliyun对象存储系统兼容。
Spark支持本地文件系统，Amazon S3和HDFS。
为了您的方便，我们创建了一个表格，汇总了以上所有信息，并对Hadoop和Spark 2.X两个版本的关键参数进行了简要比较。
结论
Hadoop 3和2之间的主要区别在于，新版本提供了更好的优化和可用性，以及某些体系结构上的改进。
Spark和Hadoop主要区别在于抽象级别。Hadoop被创建为用于处理大量现有数据的引擎。它具有较低的抽象级别，可以执行复杂的操作，但会导致学习和管理上的困难。使用许多方便的高级工具和功能可以简化您的工作，从而使Spark更加容易和快捷。Spark在Hadoop之上运行，并拥有许多优秀的库，例如Spark SQL或机器学习库MLlib。总而言之，如果您的工作不需要特殊功能，Spark可能是最合理的选择。
1