Shuffle Read Time调优

先看第一张Spark任务执行时间轴的图：
红色部分是任务反序列化时间，黄色部分是shuffle read时间，绿色是实际计算任务执行时间，这里我们先不讨论任务反序列化时间长，下一篇文章说任务反序列化时间长怎么解决

1、首先shuffle read time是什么？
shuffle发生在宽依赖，如repartition、groupBy、reduceByKey等宽依赖算子操作中，在这些操作中会对Dataset数据集按照给定的规则重新洗牌，洗牌完成之后会落盘。然后对应的分区会被对应任务fetch到任务所在节点进行计算。这个fetch的过程所消耗的时间就是shuffle read time。
2、shuffle read time长短跟什么相关？
数据量、网络IO、资源、参数配置、并发度
3、以上图片里这种情况，可以看到shuffle read time比较均匀，优化方式：

• 如果使用的序列化方式不是kryo，先将序列化和反序列化方式换成kryo
• 将以下两个参数做适当调整
  spark.reducer.maxReqsInFlight=512
  单次最大拉取请求数，这个设置过大容易造成分区数据所在节点压力大，设置太小会大大影