Spark项目实战-实际项目中常见的优化点-分配更多的资源和调节并行度

1、分配更多的资源

（1）分配哪些资源？executor、cpu per executor、memory per executor、driver memory。

（2）在哪里分配这些资源？在我们在生产环境中，提交spark作业时，用的spark-submit shell脚本，里面调整对应的参数 。

/usr/local/spark/bin/spark-submit \
--class cn.spark.sparktest.core.WordCountCluster \
--num-executors 3 \  配置executor的数量
--driver-memory 100m \  配置driver的内存（影响不大）
--executor-memory 100m \  配置每个executor的内存大小
--executor-cores 3 \  配置每个executor的cpu core数量
/usr/local/SparkTest-0.0.1-SNAPSHOT-jar-with-dependencies.jar \

（3）调节到多大，算是最大呢？

第一种：Spark Standalone模式。集群上搭建了一套Spark集群，我们应该清楚每台机器还能够给你使用的，大概有多少内存，多少cpu core。那么设置的时候就根据这个实际的情况去调节每个spark作业的资源分配。比如说你的每台机器能够给你使用4G内存，2个cpu core，20台机器；然后有20个executor，那么平均每个executor就4G内存，2个cpu core。

第二种：Yarn模式。那么我们应该看下spark作业要提交到的资源队列大概有多少资源？500G内存，100个cpu core；然后有50个executor，那么平均每个executor就10G内存，2个cpu core。

一个原则，你能使用的资源有多大，就尽量去调节到最大的大小（executor的数量，几十个到上百个不等；executor内存；executor cpu core）

（4）为什么调节了资源以后，性能可以提升？

我们知道SparkContext会将我们的算子切割成大量的task，提交到Application的executor上面去执行。那么：

第一点：增加executor。如果executor数量比较少，那么能够并行执行的task数量就比较少，就意味着我们的Application的并行执行的能力就很弱。 比如有3个executor，每个executor有2个cpu core，那么同时能够并行执行的task就是6个。6个执行完以后，再换下一批6个task。 增加了executor数量以后，那么就意味着能够并行执行的task数量也就变多了。比如原先是6个，现在可能可以并行执行10个，甚至20个，100个。那么并行能力就比之前提升了数倍数十倍。 相应的性能（执行的速度）也能提升数倍~数十倍。

第二点：增加每个executor的cpu core，也是增加了执行的并行能力。原本20个executor，每个才2个cpu core。能够并行执行的task数量就是40个task。现在每个executor的cpu core增加到了5个。能够并行执行的task数量就是100个task。执行的速度，提升了2.5倍。

第三点：增加每个executor的内存量。增加了内存量以后对性能的提升有以下三点：

a、如果需要对RDD进行cache，那么更多的内存就可以缓存更多的数据，将更少的数据写入磁盘甚至不写入磁盘。减少了磁盘IO。

b、对于shuffle操作，reduce端会需要内存来存放拉取的数据并进行聚合。如果内存不够也会写入磁盘。如果给executor分配更多内存以后，就有更少的数据需要写入磁盘甚至不需要写入磁盘。减少了磁盘IO，提升了性能。

c、对于task的执行可能会创建很多对象。如果内存比较小，可能会频繁导致JVM堆内存满了，然后频繁GC，垃圾回收，minor GC和full GC。（速度很慢）。内存加大以后，带来更少的GC，垃圾回收，避免了速度变慢，速度变快了。

2、调节并行度

并行度：其实指的是Spark作业中各个stage的task数量，也就代表了Spark作业的在各个阶段（stage）的并行度。

如果不调节并行度导致并行度过低会怎么样？

假设现在已经在spark-submit脚本里面，给我们的spark作业分配了足够多的资源，比如50个executor，每个executor有10G内存，每个executor有3个cpu core。

但是task没有设置或者设置的很少，比如就设置了100个task。那么50个executor，每个executor有3个cpu core，也就是说你的Application任何一个stage运行的时候都有总数在150个cpu core可以并行运行。但是现在只有100个task，平均分配一下，每个executor分配到2个task，那么同时在运行的task只有100个，每个executor只会并行运行2个task。每个executor剩下的一个cpu core就浪费掉了。

你的资源虽然分配足够了，但是问题是并行度没有与资源相匹配，导致你分配下去的资源都浪费掉了。

如何合理设置并行度？

合理的并行度的设置，应该是要设置的足够大，大到可以完全合理的利用你的集群资源。比如上面的例子，总共集群有150个cpu core，可以并行运行150个task。那么就应该将你的Application的并行度，至少设置成150，才能完全有效的利用你的集群资源，让150个task并行执行。而且task增加到150个以后，即可以同时并行运行，还可以让每个task要处理的数据量变少。比如总共150G的数据要处理，如果是100个task，每个task计算1.5G的数据；现在增加到150个task可以并行运行，而且每个task主要处理1G的数据就可以。

很简单的道理，只要合理设置并行度就可以完全充分利用你的集群计算资源，并且减少每个task要处理的数据量，最终就是提升你的整个Spark作业的性能和运行速度。

（1）task数量至少设置成与Spark application的总cpu core数量相同（最理想情况，比如总共150个cpu core，分配了150个task，一起运行，差不多同一时间运行完毕）

（2）官方是推荐，task数量设置成spark application总cpu core数量的2~3倍，比如150个cpu core，基本要设置task数量为300~500。

实际情况与理想情况不同的，有些task会运行的快一点，比如50s就完了，有些task可能会慢一点要1分半才运行完，所以如果你的task数量，刚好设置的跟cpu core数量相同，可能还是会导致资源的浪费，因为比如150个task，10个先运行完了，剩余140个还在运行，但是这个时候有10个cpu core就空闲出来了就导致了浪费。那如果task数量设置成cpu core总数的2~3倍，那么一个task运行完了以后，另一个task马上可以补上来就尽量让cpu core不要空闲，同时也是尽量提升spark作业运行的效率和速度提升性能。

（3）如何设置一个Spark Application的并行度？

SparkConf conf = new SparkConf() //
        .setAppName(Constants.SPARK_APP_NAME_SESSION) //
        .setMaster("local") //
        .set("spark.default.parallelism", "10"); // 设置并行度，理想值应该是总cpu数量的2~3倍。