大数据入门之Hadoop生态系统(9) -- Hive概念

1.Hive概述

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句（HQL）快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

Hive的数据源可以是MySQL、Oracle、文件、HDFS等。

Hive底层的执行引擎有：MapReduce、Tez、Spark。通常用于离线数据处理（采用MapReduce）。

2.Hive架构

我们可以通过Command-line shell（Hive脚本的方式）、Thrift/JDBC（编写JDBC的方式）编写SQL语句。SQL语句会进入到Driver里面进行相关操作。首先会把SQL语句的那个字符串解析成抽象语法树，之后生成逻辑执行计划。然后使用Query Optimizer（查询优化）对逻辑执行计划进行优化，最终生成Physical Plan（物理执行计划）。最后把物理执行计划，提交到MapReduce上执行（MapReduce作业的输入输出可以用HDFS、HBase）。我们还可以把Metastore（元数据）存入MySQL等关系型数据库中。

总结：我们可以通过编写SQL语句，通过Hive内核转换成MapReduce作业执行。

3.Hive执行流程

    HQL -> 解析器：词法分析(是否有语法错误) -> 解释器(生成HQL的执行计划) -> 优化器(生成最佳的执行计划) -> 执行

 

 

 

 

想了解更多Hive的知识，请移步Hive官方文档。