Hive面试题*精选*！附答案！！！

HIVE面试

一、Hive的基本概念

1.什么是hive

Hive是一款开源的基于hadoop的用于统计海量结构化数据的一个数据仓库，它定义了简单的类似SQL的查询语言，称为HQL，允许熟悉SQL的用户查询数据。

从本质上讲：Hive是讲HQL语句转换成MapReduce程序的的一个工具

2.什么是数据仓库

数据仓库是一个面向主题的，集成的，相对稳定的，反映历史变化的数据的集合，用于支持管理角色

3.简单说说MapReduce

MP是一个软件框架，基于该框架能够容易的编写应用程序，这些应用程序能够运行在大规模集群上，并以一种可靠的，具有容错能力的方式并行的处理上TB级别的海量数据集。

MR的思想就是“分而治之”，Mapper负责‘分’，即把复杂的任务分解为若干个‘简单的任务’来处理；Reduce负责对map阶段的结果进行汇总。

4Hive的作用

1.可以将结构化的数据文件映射成一张表，并提供类SQL查询功能，方便非java开发人员对hdfs上的数据做MapRedece操作；

2.可以对数据提取转化加载（ETL)

3.构建数据仓库

5.Hive的使用场景

1.即使查询：利用CLI或者类似HUE之类的工具，可以对Hive中的数据做即时查询，如果底层的引擎使用的MR耗时会很久，可以替换成Tez或者Spark;

2.离线的数据分析：通过执行定时调度或者脚本去执行HQL语句，并将结果保存

3.构建数仓时用于组织管理数据和表

6. Hive的特点

优点：

​ 1.可扩展性，横向扩展，Hive可以自由的扩展集群的规模，一般情况下不需要重启服务，横向扩展：通过分担压力的方式扩展集群的规模；纵向扩展：升级一台服务器的硬件

​ 2.延展性，Hive支持自定义函数，用户可以根据自己的需求来实现自己的函数

​ 3.良好的容错性，可以保障即使有节点出现问题，SQL语句仍可完成执行

缺点：

​ 1.Hive不支持记录级别的增删改操作，但是用户可以通过查询生成新表或者将查询结果导入到文件中

​ 2.Hive的查询延时很严重，因为MRJ的启动过程消耗很长时间，所以不能用在交互查询系统中

​ 3.Hive不支持事务，因为没有增删改，所以主要用来做OLAP（联机分析处理），而不是OLTP（联机事务处理），这就是出局处理的两大级别。

7.Hive和传统数据库比较

1.数据存储位置

​ hive存储在HDFS。数据库将数据保存在块设备或者本地文件系统中。

2.数据更新

​ hive中不建议对数据的改写，而数据库中的数据通常是需要经常进行修改的

3.执行延迟

​ hive执行延迟较高，数据的执行延迟较低。当然，这个是有条件的，即数据规模较小，当数据规模大到超过数据库的处理能力的时候，Hive的并行计算显然能体现出优势。

4.数据规模

​ Hive支持很大规模的数据计算；数据库可以支持的数据规模较小。

5.索引

​ hive较弱，不适合实时查询，数据库有索引

6.可扩展性

​ hive的扩展性较高，数据库的低

7.写时模式和读时模式

​ 传统数据库时写时模式，在load过程中，提升了查询性能，因为预先解析之后可以对列建立索引，并压缩，但这样也会花费更多的加载时间

​ hive是读时模式，load data非常迅速，因为它不需要读取数据进行解析，仅进行文件的复制和移动。

二、Hive架构

hive的内部架构由四部分组成：

用户接口：CLI（hive shell）、JDBC/ODBC(java访问hive)、WEBUI（浏览器访问hive）

元数据：元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等。

Hadoop：使用 HDFS 进行存储，使用 MapReduce 进行计算

驱动器：主要包含以下几类：
        a.解析器（SQL Parser）：将SQL字符串转换成抽象语法树AST，这一步一般都用第三方工具库完成，比如antlr；对AST进行语法分析，比如表是否存在、字段是否存在、SQL语义是否有误。
        b.编译器（Physical Plan）：将AST编译生成逻辑执行计划。
        c.优化器（Query Optimizer）：对逻辑执行计划进行优化。
        d.执行器（Execution）：把逻辑执行计划转换成可以运行的物理计划。对于Hive来说，就是MR/Spark。

**执行流程：**HQL通过命令行或者客户端提交，经过Compiler编译器，运用MetaStore中的元数据进行类型检测和语法分析，生成一个逻辑方案，然后通过的优化处理生成一个MapReduce任务。

HQL(Hive QL)语句是怎么执行的

1.解释器完成词法，语法和语义的分析以及中间代码的生成，最终转换成抽象语法树；

2.编译器将语法树编译为逻辑执行计划

3.逻辑层优化器对逻辑执行进行优化，由于Hive最终生成的MR任务中，Map阶段和Reduce阶段由OperatorTree组成，所以大部分逻辑层优化器通过变换OperatorTree，合并操作符，达到减少MR job和减少shuffler数据量的目的。

4.物理层优化器进行MR任务的变换，生成最终的物理执行计划

5.执行器调用底层的运行框架执行最终的物理执行计划

三、Hive的数据组织

1.Hive的存储结构包括数据库、表、视图、分区和表数据等，数据库、表、分区等等都对应HDFS上的一个目录，表数据对应HDFS对应目录下的文件。

2.Hive中所有的数据都存储在HDFS中，没有专门的数据存储格式，因为Hive是读模式，可以支持TextFile、SequenceFile、RCFile或者自定义格式等。

3.只需要在创建表的时候告诉Hive数据中的行列分隔符，Hive就可以解析数据

4.Hive包含一下数据模型：

database：在 HDFS 中表现为${hive.metastore.warehouse.dir}目录下一个文件夹

table：在 HDFS 中表现所属 database 目录下一个文件夹

external table：与 table 类似，不过其数据存放位置可以指定任意 HDFS 目录路径

partition：在 HDFS 中表现为 table 目录下的子目录

bucket：在 HDFS 中表现为同一个表目录或者分区目录下根据某个字段的值进行 hash 散 列之后的多个文件

view：与传统数据库类似，只读，基于基本表创建

5.Hive的元数据存储在RDBMS中，除元数据外的其他所有数据都基于HDFS存储。默认情况下，Hive元数据保存在内嵌的Derby数据库中，只能允许一个会话连接，只适合简单的测试。实际生产环境中不适用，为了支持多用户会话，则需要一个独立的元数据库，使用MySQL作为元数据库，Hive内部对MySQL提供了很好的支持。

6.Hive中的表分为内部表、外部表、分区表和Bucket表

内部表和外部表的区别：

​ 删除内部表，删除表元数据和数据

​ 删除外部表，删除元数据，不删除数据

内部表和外部表的使用选择：

• ​ 如果数据的所有处理都在Hive中进行，那么倾向于选择内部表，但是如果Hive和其他工具要针对相同的数据集进行处理，外部表更合适。
• ​ 使用外部表访问存储在 HDFS 上的初始数据，然后通过 Hive 转换数据并存到内部表中
• ​ 外部表的使用场景是针对一个数据集有多个不同的Schema。
• ​ 通过外部表和内部表的区别和使用选择的对比可以看出来，hive 其实仅仅只是对存储在 HDFS 上的数据提供了一种新的抽象。而不是管理存储在 HDFS 上的数据。所以不管创建内部 表还是外部表，都可以对 hive 表的数据存储目录中的数据进行增删操作。

分区表和分桶表的区别：

​ Hive数据表可以根据某些字段进行分区操作，细化数据管理，可以让部分查询更快。同时表和分区也可以进一步被划分为Buckets,分桶表的原理和MapReduce编程中的HashPartitioner的原理类似

​ 分区和分桶都是细化数据管理，但是分区表是手动添加区分，由于Hive是读模式，所以对添加进分区的数据不做模式校验，分桶表中的数据是按照某些分桶字段进行Hash散列形成的多个文件，所以数据的准确性也高很多。

四、Hive的数据类型

1.基本数据类型

hive支持关系型数据中大多数基本数据类型

类型	描述
boolean	true/false
tinyint	1字节的有符号整数
smalint	2个字节的有符号整数
int	4个字节的带符号整数
bigint	8字节带符号整数
float	4字节单精度浮点数
double	8字节双精度浮点数
deicimal	任意精度的带符号小数
String	字符串，变长
varchar	边长字符串
char	固定长度字符串
binary	字节数据
timestamp	时间戳
date	日期

这些数据类型都是对java中接口的实现，因此这些类型的具体行为细节和java中对应的类型是完全一直的

2.复杂类型

类型	描述	示例
array	有序的的同类型的集合	array(1,2)
map	key-value,key必须为原始类型，value可以任意类型	map(‘a’,1,’b’,2)
struct	字段集合,类型可以不同	struct(‘1’,1,1.0), named_stract(‘col1’,’1’,’col2’,1,’clo3’,1.0)

3.存储格式

Hive会为每个创建的数据库再HDFS上创建一个目录，该数据库的表会以子目录形式存储，表中的数据会以表目录下的文件形式存储。对于default数据库，默认的缺省数据库没有自己的目录，default数据库下的表默认存放再/user//hive/worehouse目录下。

1）textfile

​ textfile为默认存储格式，存储方式为行存储，数据不做压缩，磁盘开销打，数据解析开销大

2）SequenceFile

​ 其是Hadoop API提供的一种二进制文件支持，其具有使用方便、可分割、可压缩的特点。

​ SequenceFile支持的三种压缩格式：NONE,RECORD,BLOCK。Record压缩率低，一般建议Block

3）RCFile

​ 一种行列存储相结合的存储方式

4）ORCFile

​ 数据按照行分块，每个块按照列分块，其中每个块都存储有一个索引。hive给出的新格式。属于RCFile的升级，性能有很大的提升，而且数据可以压缩存储，压缩快，快速列存取。

5）Parquet

​ Parquet也是一种行式存储，同时具有很好的压缩性能；同时可以减少大量的表扫描的反序列化的时间。

行列存储对比：

对比	行存储	列存储
写性能	写入时一次性完成，性能高	把一行数据拆分成成列保存，写入次数比行存储多。
读性能	读取整行数据时，性能高。 读取少数列时，IO开销大	取数列时性能高，读取行时性能低
数据压缩	压缩低	列为单位存储数据，使得同类型的相同数据存放在一起，压缩比较高
典型代表	Text File、Squence File	ORC、Parquet、Carbon Data

五、Hive的DDL操作

与库有关的操作

建库
	create database t1;
看库
	show database;
建库时查看吃否存在
	create database if not exists t1;
建库时带注释
	create database if not exists t2 comment `desc xxx`;
建库带属性
	create database if noe exists t3 with 
	dbproperties('creator'='hadoop','date'='2018-04-05');
实现库详细信息
	desc database [extended] t1;
查看正在使用的库
	select current_database();
删除库
	drop database t1;
	drop database if exists t2;
	默认情况下，hive不允许删除包含表的数据库，有两种解决方法：
		1.手动删除库下所有表，然后删除表
		2.使用 cascade 关键字
切换库
	use t3;

与表有关的操作

建表语法：
	create [external] table [if not exists] table_name
	[( col_name  data_type [comment col_comment ], ...... )]
	[comment table_comment]
	[Partitioned by (col_name data_type[comment col_comment], ... )]
	[Clustered by (col_name,col_name,...)
		[sored by (col_name[ASC|DEDC],...)] into num_buckets BUCKETS ]
	[Row Format row_format]
	[Stored as file_fomat]
	[location hdfs_path]

建表语法介绍：