SparkSQL详细的调优步骤及参数配置?

1. 合理设置executor的内存大小:
在spark-defaults.conf文件中设置spark.executor.memory参数,该参数控制executor的内存大小,一般设置为每个executor的内存大小,可以根据实际情况调整。
2. 调整executor的数量:
在spark-defaults.conf文件中设置spark.executor.instances参数,该参数控制executor的数量,一般设置为每个executor的数量,可以根据实际情况调整。
3. 调整executor的cores:
在spark-defaults.conf文件中设置spark.executor.cores参数,该参数控制executor的cores,一般设置为每个executor的cores,可以根据实际情况调整。
4. 调整spark.sql.shuffle.partitions参数:
在spark-defaults.conf文件中设置spark.sql.shuffle.partitions参数,该参数控制shuffle操作的分区数,一般设置为每个executor的cores的数量,可以根据实际情况调整。
5. 调整spark.default.parallelism参数:
在spark-defaults.conf文件中设置spark.default.parallelism参数,该参数控制默认的并行度,一般设置为每个executor的cores的数量,可以根据实际情况调整。
6. 调整spark.sql.autoBroadcastJoinThreshold参数:
在spark-defaults.conf文件中设置spark.sql.autoBroadcastJoinThreshold参数,该参数控制自动广播连接的阈值,一般设置为比较小的值,可以根据实际情况调整。
7. 调整spark.sql.inMemoryColumnarStorage.compressed参数:
在spark-defaults.conf文件中设置spark.sql.inMemoryColumnarStorage.compressed参数,该参数控制内存中的列存储是否压缩,一般设置为true,可以根据实际情况调整。

你可能感兴趣的:(spark,大数据,分布式)