SparkSQL 如何把sqlText转化成RDD可以执行的tasks 系列

​​​​​​​​​​​​​​​​​
SparkSQL 如何把sqlText转化成RDD可以执行的tasks 系列_第1张图片上图是一个通用的SparkSQL底层执行流程图.
具体流程如下描述(上图是一个lazy函数, 遇到active函数才会执行):
一、SparkSQL通过parser(解析器), 把sqlText转化成UnResolved Logical Plan.(这是一棵parsed Logical Plan AST语法树).
二、SparkSQL通过Analyer(分析器), 借助Catalog中的元数据(schema), 把UnResolved Logical Plan转化成Resolved Logical Plan.(这是一棵Analyzer Logical Plan AST语法树) .
三、SparkSQL通过Optimizer(优化器), 将执行计划转化为Optimized Logical Plan.
四、SparkSQL通过SparkPlan, 将执行计划转化为Phsical Plan.

你可能感兴趣的:(大数据相关)