【图文详细 】Hive 执行过程概述

  1. Hive 将 HQL 转换成一组操作符(Operator),比如 GroupByOperator, JoinOperator 等
  2. 操作符 Operator 是 Hive 的最小处理单元
  3. 每个操作符代表一个 HDFS 操作或者 MapReduce 作业
  4. Hive 通过 ExecMapper 和 ExecReducer 执行 MapReduce 程序,执行模式有本地模式和分 布式两种模式

【图文详细 】Hive 执行过程概述_第1张图片

Hive 操作符列表: 

【图文详细 】Hive 执行过程概述_第2张图片

Hive 编译器的工作职责: 

  1. Parser:将 HQL 语句转换成抽象语法树(AST:Abstract Syntax Tree) 
  2. Semantic Analyzer:将抽象语法树转换成查询块
  3. Logic Plan Generator:将查询块转换成逻辑查询计划
  4. Logic Optimizer:重写逻辑查询计划,优化逻辑执行计划
  5. Physical Plan Gernerator:将逻辑计划转化成物理计划(MapReduce Jobs)
  6. Physical Optimizer:选择最佳的 Join 策略,优化物理执行计划 

优化器类型:

【图文详细 】Hive 执行过程概述_第3张图片

上表中带①符号的,优化目的都是尽量将任务合并到一个 Job 中,以减少 Job 数量,带②的 优化目的是尽量减少 shuffle 数据量 

 

你可能感兴趣的:(Hive,执行过程概述,Hive)