数据产品经理有必要了解的Hive

       本文是Hadoop生态体系组件之Hive的学习总结性文章。因本人非技术出身，所学均来源于网络，难免有不严谨甚至错误之处，恳请大家指正。

什么是Hive?

       hive是基于Hadoop的一个数据仓库工具（不是数据仓库，也不是数据库），用来进行数据提取、转化、加载（即用于数仓的ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。所以有了Hive，我们就可以使用HQL在数仓进行大数据的查询工作。（补充一点Hive是基于MapReduce上的，然后还有一种基于Spark上的SparkSQL。)

Hive产生的背景及其价值

       在大数据领域，有很多数据分析的场景，比如做数据报表。若使用原来的方式，则需要大数据开发人员写一个MapReduce程序，然后才能得到相应结果。但是这样的话会出现以下2个问题：
1.人员学习成本太高。（毕竟学SQL比学MapReduce更简单，而且很多人都会SQL，比如数据分析师，产品经理等）
2.开发难度大，及耗时长。
       考虑到SQL作为一种主流的数据分析语言，仍广受数据分析师欢迎，且为了让大家更高效地使用MapReduce这种计算引擎，所以在MapReduce基础上构建了更高级的SQL引擎——Hive。他提供的查询语言被称为“HQL”（Hive Query Language），该语言跟标准SQL语法极为相似，已经掌握SQL的工程师可以很容易学习HQL。

Hive架构

HIVE架构图

从上图看出hive的内部架构由四部分组成：
1、用户接口: shell/CLI, jdbc/odbc, webui Command Line Interface
       CLI，Shell 终端命令行（Command Line Interface），采用交互形式使用 Hive 命令行与 Hive 进行交互，最常用（学习，调试，生产）。
JDBC/ODBC，是 Hive 的基于 JDBC 操作提供的客户端，用户（开发员，运维人员）通过 这连接至 Hive server 服务。
Web UI，通过浏览器访问 Hive。
2、跨语言服务 ： thrift server 提供了一种能力，让用户可以使用多种不同的语言来操纵hive
       Thrift 是 Facebook 开发的一个软件框架，可以用来进行可扩展且跨语言的服务的开发， Hive 集成了该服务，能让不同的编程语言调用 Hive 的接口。
3、底层的Driver： 驱动器Driver，编译器Compiler，优化器Optimizer，执行器Executor
       Driver 组件完成 HQL 查询语句从词法分析，语法分析，编译，优化，以及生成逻辑执行计划的生成。生成的逻辑执行计划存储在HDFS 中，并随后由 MapReduce 调用执行。

Hive 的核心是驱动引擎， 驱动引擎由四部分组成：
(1) 解释器：解释器的作用是将 HiveSQL 语句转换为抽象语法树（AST）
(2) 编译器：编译器是将语法树编译为逻辑执行计划
(3) 优化器：优化器是对逻辑执行计划进行优化
(4) 执行器：执行器是调用底层的运行框架执行逻辑执行计划
4、元数据存储系统 MetaStore：Hive Metastore是管理和存储元信息的服务，它保存了数据库的基本信息以及数据表的定义等，为了能够可靠地保存这些元信息，HiveMetastore一般将它们持久化到关系型数据库中，默认采用了嵌入式数据库Derby，用户可根据需要启用其他数据库，比如MySQL。

元数据，通俗的讲，就是存储在 Hive 中的数据的描述信息。
Hive 中的元数据通常包括：表的名字，表的列和分区及其属性，表的属性（内部表和 外部表），表的数据所在目录。
Metastore 默认存在自带的 Derby 数据库中。缺点就是不适合多用户操作，并且数据存储目录不固定。数据库跟着 Hive 走，极度不方便管理。
解决方案：通常存我们自己创建的 MySQL 库（本地 或 远程）
Hive 和 MySQL 之间通过 MetaStore 服务交互。

HQL执行流程

       用户通过命令行或者客户端提交HQL，经过 Compiler 编译器，运用 MetaStore 中的元数据进行类型检测和语法分析，生成一个逻辑方案(Logical Plan)，然后通过的优化处理，产生一个MapReduce 任务。
举个例子：
第一步：输入一条HQL查询语句（select * from tab）
第二步：解析器对这条HQL语句进行语法分析。
第三步：编译器对这条HQL语句生成HQL的执行计划。
第四步：优化器生成最佳的HQL的执行计划。
第五步：执行这条最佳HQL语句。

Hive的数据组织

1、Hive 的存储结构包括数据库、表、视图、分区和表数据等。数据库，表，分区等等都对 应 HDFS 上的一个目录。表数据对应 HDFS 对应目录下的文件。

2、Hive 中所有的数据都存储在 HDFS 中，没有专门的数据存储格式，因为 Hive 是读模式 （Schema On Read），可支持 TextFile，SequenceFile，RCFile 或者自定义格式等

3、 只需要在创建表的时候告诉 Hive 数据中的列分隔符和行分隔符，Hive 就可以解析数据

Hive 的默认列分隔符：控制符 Ctrl + A，\x01 Hive 的

Hive 的默认行分隔符：换行符 \n

4、Hive 中包含以下数据模型：

database：在 HDFS 中表现为${hive.metastore.warehouse.dir}目录下一个文件夹

table：在 HDFS 中表现所属 database 目录下一个文件夹

external table：与 table 类似，不过其数据存放位置可以指定任意 HDFS 目录路径

partition：在 HDFS 中表现为 table 目录下的子目录

bucket：在 HDFS 中表现为同一个表目录或者分区目录下根据某个字段的值进行 hash 散 列之后的多个文件

view：与传统数据库类似，只读，基于基本表创建

5、Hive 的元数据存储在 RDBMS 中，除元数据外的其它所有数据都基于 HDFS 存储。默认情 况下，Hive 元数据保存在内嵌的 Derby 数据库中，只能允许一个会话连接，只适合简单的 测试。实际生产环境中不适用，为了支持多用户会话，则需要一个独立的元数据库，使用 MySQL 作为元数据库，Hive 内部对 MySQL 提供了很好的支持。

6、Hive 中的表分为内部表、外部表、分区表和 Bucket 表

内部表和外部表的区别：

删除内部表，删除表元数据和数据

删除外部表，删除元数据，不删除数据

内部表和外部表的使用选择：

大多数情况，他们的区别不明显，如果数据的所有处理都在 Hive 中进行，那么倾向于 选择内部表，但是如果 Hive 和其他工具要针对相同的数据集进行处理，外部表更合适。

使用外部表访问存储在 HDFS 上的初始数据，然后通过 Hive 转换数据并存到内部表中

使用外部表的场景是针对一个数据集有多个不同的 Schema

通过外部表和内部表的区别和使用选择的对比可以看出来，hive 其实仅仅只是对存储在 HDFS 上的数据提供了一种新的抽象。而不是管理存储在 HDFS 上的数据。所以不管创建内部 表还是外部表，都可以对 hive 表的数据存储目录中的数据进行增删操作。

**分区表和分桶表的区别： **

Hive 数据表可以根据某些字段进行分区操作，细化数据管理，可以让部分查询更快。同 时表和分区也可以进一步被划分为 Buckets，分桶表的原理和 MapReduce 编程中的 HashPartitioner 的原理类似。

分区和分桶都是细化数据管理，但是分区表是手动添加区分，由于 Hive 是读模式，所 以对添加进分区的数据不做模式校验，分桶表中的数据是按照某些分桶字段进行 hash 散列 形成的多个文件，所以数据的准确性也高很多

参考资料：https://www.cnblogs.com/qingyunzong/p/8707885.html
因此篇博客写的太好了，所以本文大部分内容是直接复制来的，感谢作者~~~！！！