hive学习二

今天编译好源码，因此来更新文章。

看了一下，里面的内容还真是不少，所以我打算把所有的重点都放在cli、ql和serde上，其他的时间再了解。
先说说我想看什么？主要是想了解一下和hive sql是如何转换成mapreduce任务的，所以开搞。

这个图主要描述了hive对于各种参数如 -e、-f等参数的解析和对hive sql 语句的完整性的处理等。从Driver.runInternal开始才是正是对sql语句拆解。
大致过程如下图：

1.词法语法解析：根据Antlr中定义的语法规则，对SQL命令进行拆解，分割成ASTNode。
2.解析抽象语法树：遍历ASTNode，解析其中的信息，例如别名和元数据信息等，将它们存储到QueryBlock中。
3.解析逻辑操作树：根据QueryBlock中的信息，生成不同的Operator。例如TableScanOperator、ReduceSinkOperator等
4.优化逻辑操作树：针对Operator Tree进行优化，目的是为了减少Mapreduce Job，减少shuffle数量
5.生成物理执行计划根据Operator Tree生成MapReduce 任务
6.优化物理执行计划：物理层优化器进行MapReduce任务的变换，生成最终的执行计划

下面的图是我认为的从hive sql 解析到生成Mapreduce任务到最后的返回结果的整个流程。