Hive源码阅读--导读
总述
Hive的执行流程大致分为两部分，即任务的提交与返回,命令的编译与执行。
前者在CliDriver类中流转，后者主要在Driver与ParseDriver类，核心编译在BaseSemanticAnalyzer和QueryPlan类中。
任务的提交与返回
调用顺序：
main --(
程序的开始)–>
run --(任务的开始，读取用户传参与相关配置，初始化日志)–>
executeDriver --(确保传入的语句是一条完整的SQL或命令)–>
processLine --(上保险，确保任务可以中断)–>
processCmd --(识别命令的类型，交给相对于的处理方法)–>
processLocalCmd --(选择SQL命令的处理器，默认是Driver)–>
Driver (到这里算提交完成)
Hive源码阅读–作业的入口–CliDriver（main+run）
Hive源码阅读–作业的提交–executeDriver
Hive源码阅读–作业的准备–processLine
Hive源码阅读–作业的执行–processCmd
Hive源码阅读–命令的执行与返回–processLocalCmd
命令的编译与执行
命令的编译流程为：
第一阶段 --(
Driver)–>
SQL–(ParseDriver)–>
AST(Abstract Syntax Tree)–(BaseSemanticAnalyzer)–>
Task（MapRedTask，FetchTask）–(QueryPlan)–>
QueryPlan（Task集合）—(Driver)–>
Job（Yarn）
Hive源码阅读–SQL的语法解析和语义分析–Driver
Hive源码阅读–SQL on JOB–ParseDriver/BaseSemanticAnalyzer/QueryPlan
Hive源码阅读–词法、语法解析–HiveLexerX/HiveParser
Hive源码阅读–查询分析器–SemanticAnalyzer
Hive架构设计
Hive的概念
Hive依赖于HDFS存储数据，Hive将HQL转换为MR进行执行，所以说Hive是基于Hadoop的一个数据仓库工具，实质上就是一款基于HDFS的MR计算框架，对存储在HDFS中的数据进行分析与查询。
假如我们在HDFS中有一个结构化的数据：
1,zhangsan,20
2,lisi,18
3,wangwu,21
然后用Hive抽象的保存他：
表名:huamingce
字段:id,name,age
如果使用mr去取这个文件的数据的话，肯定得写几十行代码，如果使用Hive的手段去取：
select * from huamingce;
这其实也是现在程序开发的一个缩影，底层逻辑很复杂，但是可以封装的很简单。
程序的开发越来越趋向于web化，轻捷化，拖缀化。
关于hive必须知道的知识点：
- 由Facebook实现并开源
- 是基于Hadoop的一个数据仓库工具
- 存储的数据底层还是存储在HDFS上
- Hive将HDFS上的结构化数据映射为一张数据库表，类似于mysql表
- Hive提供HQL查询功能
- Hive的本质是把SQL语句转换为MR任务执行
- Hive用户更集中于业务逻辑
- Hive需要一个保存抽象信息的数据库
Hive的架构设计
任何一个对Hive有了解的人，应该都见过这张图，他很清楚的描述了Hive的客户端与Hive内部的架构。
在整个架构中最核心的就是Hive的Driver，他其实分为四块:
Driver ---> 驱动器
Compiler ---> 编译器
Optimizer ---> 优化器
Executor ---> 执行器
他们其实只做了一件事情：如何将SQL变成优秀的MR任务
MapReduce实现基本SQL操作的原理
MR的执行原理
举个
张三，李四，王五三个人打算斗地主，找到了一副年代久远的牌，但是不确定这副牌是否够54张。
1.张三手速很快，所以张三一个人数牌，数完50张，牌不够。
2.将牌分为了三份，三个人分别数一份牌，数完后张三手里有20张，李四手里有14张，王五手里有16张，加一起只有50张牌，牌不够。
假设平均一个人数一张牌要1S，那么第一种情况要50S，第二种情况要20S+汇总时间，第二种情况肯定比第一种情况快。
这个例子其实就对应生成环境中的两种情况，第一种情况是纵向扩展，把机器的性能拼命提高，比如超算，天河二号；第二种情况是横向扩展，一台干不完的活我三台干。
既然工作机器数增加了，那么肯定就有分发，干活，汇总三个阶段，分发就是map，汇总就是reduce。这种解决方案就叫做MapReduce。
我们举三个最典型的例子。
join的实现
sql语句:
select u.name,o.orderid from order o join user u on o.uid=u.uid;
实现思路图：
- 将连接字段作为key值，表标记+查询字段作为value
- shuffle时将同一key（同一uid）划分为一组
- reduce时进行笛卡尔积连接
group by的实现
sql语句:
select rank,isonline,count(*) from city group by rank,isonline;
实现思路图：
- 将分组字段聚合为map构建key，同时将聚合函数结果作为value（本地shuffle）
- shuffle时将相同key划分在一起
- reduce再次聚合
- 两次聚合降低网络IO与本地压力
distinct的实现
sql语句:
select dealid,count(distinct uid) num from order group by dealid;
实现思路图：
- 查询字段组合为map作为key，聚合函数结果作为value，分组字段作为partitionkey
- shuffle时按照partitionKey进行分组
- reduce对key去重后再聚合
HQL怎么转换为MR
六个阶段
Antlr定义SQL的语法规则，完成SQL词法、语法解析，将SQL转换为抽象语法树AST Tree- 遍历
AST Tree，抽象出查询的基本组成单位QueryBlock - 遍历
QueryBlock，翻译为执行操作树OperatorTree - 逻辑层优化器进行
OperatorTree变换，合并不必要的ReduceSinkOperator，减少Shuffle的数量。 - 遍历
OperatorTree，翻译为MR任务 - 物理层优化器进行MR任务的变化，生成最终的执行计划
源码流程图
流程图请结合Hive源码解析专栏阅读。
