Spark 调优

**调优思路：**优先使用参数调优，如果参数调优不能满足我们的业务场景，这里就要涉及到代码调优

一、Spark资源参数调优

• num-executors：该作业总共需要多少executor进程执行
– 建议：每个作业运行一般设置50~100个左右较合适
• executor-memory：设置每个executor进程的内存， num-executors* num- executors代表作业申请的总内存量（尽量不要超过最大总内存的1/3~1/2）
– 建议：设置4G~8G较合适
• executor-cores：每个executor进程的CPU Core数量，该参数决定每个executor进程并行执行task线程的能力， num-executors* executor-cores代表作业申请总CPU core数（不要超过总CPU Core的1/3~1/2 ）
– 建议：设置2~4个较合适
• driver-memory: – 建议：通常不用设置，一般1G就够了，若出现使用collect算子将RDD数据全部拉取到Driver上处理，就必须确保该值足够大，否则OOM内存溢出
• spark.default.parallelism：每个stage的默认task数量
– 建议：设置500~1000较合适，默认一个HDFS的block对应一个task，Spark默认值偏少，这样导致不能充分利用资源
• spark.storage.memoryFraction：设置RDD持久化数据在executor内存中能占的比例，默认0.6，即默认executor 60%的内存可以保存持久化RDD数据
– 建议：若有较多的持久化操作，可以设置高些，超出内存的会频繁gc导致运行缓慢
• spark.shuffle.memoryFraction：聚合操作占executor内存的比例，默认0.2
– 建议：若持久化操作较少，但shuffle较多时，可以降低持久化内存占比，提高shuffle操作内存占比
注意：使用 mapjoin操作，就会将小表放到driver中，前提：如果数据量不是很大，可以操作
反之，①避免mapjoin操作 ② 增加driver内存
方式一:（脚本中进行设置）：
Spark_submit 命令调优实例（脚本中进行设置）

--master yarn-cluster 执行模式是集群模式
--num-executors 100  100个executor进程执行
--executor-memory 6G 申请的总内存量(进程)内存6G
--executor-cores 4 每个executor进程的CPU Core数量为4
--driver-memory 1G  driver设置1G内存

方式二：代码调优
代码参数调优案例：

val conf = new SparkConf()
  .registerKryoClasses(Array(classOf[JiebaSegmenter]))
  .set("spark.rpc.message.maxSize","800")
val spark = SparkSession
  .builder()
  .appName("Jieba UDF")
  .enableHiveSupport()
  .config(conf) //将conf配置到spark中
  .getOrCreate()

  //注册自定义类交给KryoSerializer序列化处理类进行序列化  .registerKryoClasses(Array(classOf[xxxx]))
  xxxx--->是要进行序列化的类名

二、开发调优

原则一：避免创建重复的RDD
– 对同一份数据，只应该创建一个RDD，不能创建多个RDD来代表同一份数据
– 极大浪费内存
利用RDD1中的tuple中元素来保留RDD2 节省内存

原则二：尽可能复用同一个RDD
– 比如：一个RDD数据格式是key-value，另一个是单独value类型，这两个RDD的value部分完
全一样，这样可以复用达到减少算子执行次数

原则三：对多次使用的RDD进行持久化处理
– 每次对一个RDD执行一个算子操作时，都会重新从源头处理计算一遍，计算出那个RDD出来，
然后进一步操作，这种方式性能很差
– 对多次使用的RDD进行持久化，将RDD的数据保存在内存或磁盘中，避免重复劳动
– 借助cache()和persist()方法

– persist持久化级别

原则四：避免使用shuffle类算子（现实中不可以避免的）（对性能影响最大的就是shuffle类算子）
– 在spark作业运行过程中，最消耗性能的地方就是shuffle过程
– 将分布在集群中多个节点上的同一个key，拉取到同一个节点上，进行聚合和join处理，比如
groupByKey、reduceByKey、join等算子，都会触发shuffle
重点：shuffle涉及到写磁盘，数据合并，网络数据的传输，因此能避免使用shuffle,就不使用

原则五：使用map-side预聚合的shuffle操作
– 一定要使用shuffle的，无法用map类算子替代的，那么尽量使用map-site预聚合的算子
– 思想类似MapReduce中的Combiner – 可能的情况下使用reduceByKey或aggregateByKey算子替代groupByKey算子，因为
reduceByKey或aggregateByKey算子会使用用户自定义的函数对每个节点本地相同的key进行
预聚合，而groupByKey算子不会预聚合

原则六：使用Kryo优化序列化性能
– Kryo是一个序列化类库，来优化序列化和反序列化性能
– Spark默认使用Java序列化机制（ObjectOutputStream/ ObjectInputStream API）进行序列
化和反序列化
– Spark支持使用Kryo序列化库，性能比Java序列化库高很多，10倍左右