Spark基本原理(二)

1、关于Spark的调优部分

1)更好的序列化实现:在Spark中,需要序列化的地方包括写入磁盘、Worker之间传输RDD等。默认的Java序列化性能比较低,所以将序列化的方式修改为kryo;

2)配置多个临时文件的目录:在并发性高的情况下,对一个文件的操作会影响整体的性能,为此可以创建多个文件夹,用于存放临时文件;

3)启用推测执行机制:类似于Hadoop中的Task任务处理,在某个Task处理速度明显慢时,会启用其它节点执行任务,有一个执行完就销毁掉另一个未执行完的节点;

4GC调优:原则上是减少Full GC,在调优之前,必须先检查代码部分

2、Spark的CheckPoint机制

CheckPoint的机制是建立一个检查点,类似于快照。

在Spark的RDD依赖中,若依赖的关系太长,同时没有将中间结果存储,会导致计算出错时从头再来。为此Spark中可以利用缓存机制将部分中间结果缓存起来,此时一定程度上解决了数据丢失问题。但是若存储的内存或磁盘出错,也会导致重新计算,此时出现了checkpoint机制,就是将比较重要的中间数据做一个检查点存储到一个高可用的地方。

补充:在SparkStreaming中,也存在checkpoint机制。在需要对历史数据进行累计处理,可以设置一个检查目录,在该目录中,存储历史数据。

3、Spark的数据倾斜

出现情况:join(一大一小的情况)或者groupBy(某个key出现的次数过多)

解决:使用广播变量,将小的数据转换Map进行广播,广播会将Map发送到每个节点中,合并时利用该Map进行,可以减轻数据倾斜;

groupBy出现的可以将key后添加固定格式的随机数来减轻数据倾斜

4、SparkStreaming与Storm

相同点:都是分布式、容错、可扩展的处理系统

不同点

Storm是实时数据计算,最快的处理可达10毫秒,对于数据的处理核心支持两个级别:最多一次(可能会丢失)、最少一次(保证数据不丢失)

SparkStreaming是小批量计算,处理老版本只能到达秒级,新版本可以到达毫秒级。并且数据的处理只处理一次。由于Spark平台的良好整合性,可以借助于Spark的其它模块,在开发效率上占有一定的优势。;

5、SparkStreaming的原理

SparkStreaming是将流式处理分解成一系列的短小的批处理作业,即按照batch size(如1秒)分成一段一段的数据DStream(discretized-离散化 Stream),每一段数据都转换为RDD,然后将针对SparkStreaming中的Dstream的Transformations操作转换为针对Spark RDD的Transformations操作,将RDD经过操作变成中间结果保存在内存中(也可以保存到磁盘)。

三种处理:只能处理最新的,处理历史数据(checkpoint)和最新的,处理一段时间内的(滑动窗口机制)

6、Spark的模式(简单介绍,具体请参考 https://www.jianshu.com/p/65a3476757a5

大致上分为三种:本地单机模式、Spark自带Cluster Manager的集群模式、借助于Yarn管理的集群模式。

本地单机模式:主要是为了测试代码的逻辑;

Spark自带Cluster Manager的集群模式:启动之前必须先启动Spark的Master和Worker守护进程;

基于Yarn的Resource Manager的集群模式:使用Yarn作为Spark的Cluster Manager,来为Spark的应用程序分配资源,并且启动之前需要启动Hadoop的各种服务。

 

提示:SparkSQL中的DataFrameSparkStreaming中的DStream底层都是RDD

 

 

补充:SparkSQL的介绍

SparkSQL提供了一个成为DataFrame(数据框),底层是RDD,类似于关系型数据库中的表。

引入了新的RDD类型SchemaRDD;可以混合不同来源的数据,例如将HiveQL的数据和MySQL的数据进行join;在把执行语句解析后,变成RDD的计算。

你可能感兴趣的:(大数据学习,面试准备,Spark)