Scala | Spark性能优化 | 资源调优 | 代码调优 | 数据本地化 | 内存调优 | Spark Shuffle调优 | 数据倾斜 | Spark故障解决
文章目录一、资源调优二、并行度调优三、代码调优1.避免创建重复的RDD2.对多次使用的RDD进行持久化3.持久化算子:4.尽量避免使用shuffle类的算子5.使用map-side预聚合的shuffle操作5.尽量使用高性能的算子6.使用广播变量7.使用Kryo优化序列化性能8.优化数据结构9.使用高性能的库fastutil四、数据本地化1.数据本地化的级别2.Spark数据本地化调优五、内存调优