Spark及其生态圈概述

1.Spark的概述及特点

    执行速度快、易用、通用

2.Spark的产生背景

(1)MapReduce的局限性:代码繁琐、只能支持map和reduce方法、执行效率低下、不适合迭代多次、交互式、流式的处理

(2)框架多样化:1)批处理:MapReduce、Hive、Pig;2)流式处理:Storm、Jstorm;3)交互式计算:Impala

这些需求都可以用Spark解决

3.Spark对比Hadoop

(1)Spark生态系统

Spark及其生态圈概述_第1张图片

(2)Hadoop生态系统对比Spark生态系统


Spark及其生态圈概述_第2张图片

(3)Hadoop对比Spark

Spark及其生态圈概述_第3张图片

(4)MapReduce对比Spark

Spark及其生态圈概述_第4张图片

4.Spark和Hadoop的协作性

(1)Hadoop的优势

Spark及其生态圈概述_第5张图片

(2)Spark的优势

Spark及其生态圈概述_第6张图片

(3)Hadoop+Spark

Spark及其生态圈概述_第7张图片



你可能感兴趣的:(基础知识,Spark)