spark和Hadoop之间的对比与联系

对比

计算模型：

Hadoop：采用MapReduce计算模型，分map与reduce两个阶段，数据处理按阶段顺序执行，数据处理按阶段顺序执行，中间结果会写入磁盘，I/O开销大。

Spark：基于弹性分布式数据集，采用有无环图执行引擎，能灵活调度任务，RDD可在内存中计算和缓存，减少磁盘I/O,处理速度更快。

处理速度：

Hadoop：大量磁盘 I/O 操作，在处理迭代计算、交互式计算等场景时，性能受限。

Spark ：内存计算特性使其在迭代计算（如机器学习算法迭代 ）、交互式查询等场景下，相比 Hadoop 有显著速度优势，能快速处理数据。

应用场景：

Hadoop：侧重于大规模数据的离线存储和批处理，像日志分析、数据归档等场景。

Spark :除批处理外，在实时流处理（Spark Streaming ）、机器学习（MLlib ）、图计算（GraphX ）等方面应用广泛，适用于对实时性、交互性要求高的场景。

联系

数据存储：Spark 可使用 Hadoop 的 HDFS（Hadoop Distributed File System ）作为底层数据存储系统。HDFS 为 Spark 提供了高可靠、可扩展的大规模数据存储能力，让 Spark 能处理海量数据。

生态系统：二者都属于 Apache 旗下大数据生态的重要组成部分，共享一些周边组件，如 YARN（Yet Another Resource Negotiator ）资源管理器，可用于统一管理和调度 Hadoop 集群与 Spark 作业的资源。

数据处理互补：Hadoop MapReduce 适合离线、批处理场景；Spark 在批处理基础上，更擅长实时计算、交互式计算、内存计算等场景。实际应用中，常将二者结合，比如用 Hadoop 进行数据存储和初步的批处理，再用 Spark 进行更复杂的数据分析挖掘。