hive架构

hive架构图

hive架构_第1张图片
hive:将结构化的数据文件映射到表中 。元数据库Meta store 中就存储着这种映射的信息。
元数据信息包括:表名,表上所属的数据库,表的拥有者,表的列,分区字段,表的类型(是否为内部表),表中数据所在hdfs上的目录位置。

HQL语句如何转化为MapReduce?

解析器:首先将SQL字符串转化成抽象语法树AST,这一步一般用的是第三方工具库完成,比如abtlr;对AST进行语法分析,
比如表是否存在,字段是否存在,sql语义是否有误等。
编译器:将AST编译成逻辑执行计划。
优化器:对逻辑执行计划进行优化。
执行器:把逻辑执行计划转化为可以运行的物理计划,对于hive来说,就是MR/Spark/TEZ.

你可能感兴趣的:(hive学习笔记)