Spark从入门到精通29:Spark SQL：工作原理剖析以及性能优化

SparkSQL工作原理剖析

1.编写SQL语句
只要是在数据库类型的技术里面，例如MySQL、Oracle等，包括现在大数据领域的数据仓库，例如Hive。它的基本的SQL执行的模型，都是类似的，首先都是要生成一条SQL语句执行计划。
执行计划即从哪里查询，在哪个文件，从文件中查询哪些数据，此外，复杂的SQL还包括查询时是否对表中的数据进行过滤和筛选等等。
2.Unresolved LogicalPlan未解析的逻辑计划
由SqlParser生成。
逻辑的执行计划，更多的是偏向于逻辑，例如，from table students =>filter...=>select name...这里，基本上逻辑计划，都是采用Tree树形结构。
3.resolved LogicalPlan解析后的逻辑计划
由Analyzer生成。
4.optimized LogicalPlan优化后的逻辑计划
由Optimizer生成。
在传统的数据库比如Oracle，通常都会生成多个执行计划，然后有一个优化器，针对多个计划，选择一个最好的计划，而SparkSQL的优化指的是，刚生产的执行计划中，有些地方的性能是显而易见的，不太好。举例说明：
比如我们有一个SQL语句，select name from (select from ...)where ...=...，此时，在执行计划解析出来的时候，就是按照它原封不动的样子来解析成可以执行的计划，但是Optimizer，在这里就会对执行计划进行优化，比如发现where条件，其实可以放到子查询中，这样，子查询的数据量大大变小，可以优化执行速度。此时就变成了如下这样：
select name from (select name from...where...)

5.PhysicalPlan物理计划
由SparkPlan生成。到物理计划这里，就是非常接地气的计划了。在这里就已经很明了，从哪个文件读取什么数据，从哪几个文件读取，如何进行关联等等。
6.execute，执行物理计划，生成数据。
7.查询出来的数据生成RDD。

SparkSQL性能优化

1、设置Shuffle过程中的并行度：spark.sql.shuffle.partitions（SQLContext.setConf()）
2、在Hive数据仓库建设过程中，合理设置数据类型，比如能设置为INT的，就不要设置为BIGINT。减少数据类型导致的不必要的内存开销。
3、编写SQL时，尽量给出明确的列名，比如select name from students。不要写select *的方式。
4、并行处理查询结果：对于Spark SQL查询的结果，如果数据量比较大，比如超过1000条，那么就不要一次性collect()到Driver再处理。使用foreach()算子，并行处理查询结果。
5、缓存表：对于一条SQL语句中可能多次使用到的表，可以对其进行缓存，使用SQLContext.cacheTable(tableName)，或者DataFrame.cache()即可。Spark SQL会用内存列存储的格式进行表的缓存。然后Spark SQL就可以仅仅扫描需要使用的列，并且自动优化压缩，来最小化内存使用和GC开销。SQLContext.uncacheTable(tableName)可以将表从缓存中移除。用SQLContext.setConf()，设置spark.sql.inMemoryColumnarStorage.batchSize参数（默认10000），可以配置列存储的单位。
6、广播join表：spark.sql.autoBroadcastJoinThreshold，默认10485760 (10 MB)。在内存够用的情况下，可以增加其大小，概参数设置了一个表在join的时候，最大在多大以内，可以被广播出去优化性能。
7、钨丝计划：spark.sql.tungsten.enabled，默认是true，自动管理内存。