Spark特点

Spark特点

1、先进架构

Spark采用Scala语言编写，底层采用了actor mode的akka作为通讯框架，代码十分简洁高效。

基于DAG图的执行引擎，减少多次计算之间中间结果写到hdfs的开销。

建立在统一抽象的RDD（分布式内存抽象）之上，使得它可以以基本一致的方式应对不同的大数据处理场景。

2、高效

提供Cache机制来支持需要反复迭代的计算或者多次数据共享，减少数据读取的IO开销。

3、易用

Spark提供广泛的数据集操作类型（20+种），不像Hadoop只提供了Map和Reduce两种操作。

Spark支持Java,Python 和Scala API

4、提供整体解决方案

Spark内存承诺狐狸

Spark SQL交互式处理

Spark Streaming 是建立在Spark上的实时计算框架，通过它提供丰富的API、基于内存的高速执行引擎，用户可以结合流式、批处理和交互式查询应用。

Spark MLlib 是Spark对常用的机器学习算法的实现库，同时包括相关的测试和数据生成器。

Spark GraphX 是一个分布式图处理框架，基于Spark平台提供对图计算和图挖掘简洁易用的而丰富多彩的接口，极大方便了大家对分布式图处理的需求。

5、与Hadoop无缝连接

Spark可以使用YARN作为他的集群管理器

读取HDFS，HBase等一切Hadoop的数据