《SparkSQL剖析》SparkSQL到RDD概述

SparkSQL 到RDD

val spark = SparkSession . builder(). appName("example").master("local").getOrCreate()
spark.read.json("student.json").createOrReplaceTempView("student")
spark.sql("select name from student where age>18").show()

从SQL到Spark RDD 要经过逻辑计划和物理计划两个阶段:

逻辑计划

逻辑计划将用户的SQL语句转成树型数据结构,SQL中逻辑映射到逻辑算子树的不同节点。逻辑阶段生成的逻辑算子树不会直接体提交，
值作为中间阶段。逻辑算子树形成需要以下三个阶段:
Unresolved LogicalPlan(数据结构，不含任何数据信息)–>Analyzed LogicalPlan(节点中绑定各种信息)–>Optimized LogicalPlan(优化低效的逻辑计划)

物理计划

将逻辑计划生成的逻辑算子树进行转换,生成物理算子树。
物理算子树直接生成RDD或对RDD进行转换，物理计划也包括三个阶段:
PhysicalPlan(算子树列表)–>SparkPlan(最优算子树)–>Prepared SparkPlan(生成RDD执行action操作)

SQL解析到提交之前，都在Driver端进行，不涉及分布式环境。
在代码中，进行如下转换：

其中FileSourceScanExec构造数据源对应的RDD,FilterExec和ProjectExec中的execute函数对RDD执行transformation
SparkSession的sql通过以上及阶段的转换生成QueryExecution对象，即查询执行。