hadoop与spark

hadoop与spark

• 1、二者可合可分

• Hadoop除了提供为大家所共识的HDFS分布式数据存储功能之外，还提供了叫做MapReduce的数据处理功能。

• Spark，是一个专门用来对那些分布式存储的大数据进行处理的工具，它并不会进行分布式数据的存储。

• 2、对比

• MapReduce
  我们要数图书馆中的所有书。你数1号书架，我数2号书架。这就是“Map。我们人越多，数书就更快。
  现在我们到一起，把所有人的统计数加在一起。这就是“Reduce”.
  MapReduce是分步对数据进行处理的: ”从集群中读取数据，进行一次处理，将结果写到集群，从集群中读取更新后的数据，进行下一次的处理，将结果写到集群，等等。

• Spark数据处理速度秒杀MapReduce
  Spark，它会在内存中以接近“实时”的时间完成所有的数据分析，从集群中读取数据，完成所有必须的分析处理，将结果写回集群，完成。Spark的批处理速度比MapReduce快近10倍，内存中的数据分析速度则快近100倍。