Hive精选高频面试题
Hive高频面试题
1.Hive的架构及HQL转换为MR流程
- Hive元数据默认存储在derby数据库，不支持多客户端访问，所以将元数据存储在MySQl，支持多客户端访问。
- Hive架构
- HQL编译为MR任务流程介绍
- HQL转换为MR核心流程
2.Hive和数据库比较
-
1）数据存储位置
- Hive 存储在 HDFS 。数据库将数据保存在块设备或者本地文件系统中
-
2）数据更新
- Hive中不建议对数据的改写。而数据库中的数据通常是需要经常进行修改的
-
3）执行延迟
- Hive 执行延迟较高。数据库的执行延迟较低。当然，这个是有条件的，即数据规模较小，当数据规模大到超过数据库的处理能力的时候，Hive的并行计算显然能体现出优势。
-
4）数据规模
- Hive支持很大规模的数据计算；数据库可以支持的数据规模较小。
-
5）索引
- Hive比较弱，不适合实时查询。数据库有。
-
7）可扩展性
- Hive高，数据库低
-
8）写时模式和读时模式
- 传统数据库是写时模式，在load过程中，提升了査询性能，因为预先解析之后可以对列建立索引，并压缩，但 这样也会花费更多的加载时间。
- Hive是读时模式，1oad data非常迅速，因为它不需要读取数据进行解析，仅仅进行文件的复制或者移动。
3.内部表和外部表
- 内部表：加载数据到hive所在的hdfs目录，删除时，元数据和数据文件都删除
- 外部表：不加载数据到hive所在的hdfs目录，删除时，只删除表结构。
- 这样外部表相对来说更加安全些，数据组织也更加灵活，方便共享源数据。
4.4个By区别
- 1）Order By：全局排序，只有一个Reducer；
- 2）Sort By：分区内有序；
- 3）Distrbute By：类似MR中Partition，进行分区，结合sort by使用。
- 4） Cluster By：当Distribute by和Sorts by字段相同时，可以使用Cluster by方式。Cluster by除了具有Distribute by的功能外还兼具Sort by的功能。但是排序只能是升序排序.
- 在生产环境中Order By用的比较少，容易导致OOM。
在生产环境中Sort By + Distrbute By用的多。
5.1系统函数
- 1）date_add、date_sub函数（加减日期）
- 2）next_day函数（周指标相关）
- 3）date_format函数（根据格式整理日期）
- 4）last_day函数（求当月最后一天日期）
- 5）CONCAT、CONCAT_WS
- 6）LATERAL VIEW EXPLODE
- 7）collect_set函数
- 8）get_json_object解析json函数
- 9）NVL（表达式1，表达式2）
如果表达式1为空值，NVL返回值为表达式2的值，否则返回表达式1的值。 - 10)unix_timestamp:返回当前或指定时间的时间戳
from_unixtime：将时间戳转为日期格式 - cast(expr as )
- size(Map
)
map_keys(Map)
map_values(Map)
array_contains(Array, value)
sort_array(Array)
6.自定义UDF、UDTF函数
-
1）在项目中是否自定义过UDF、UDTF函数，以及用他们处理了什么问题，及自定义步骤？
- （1）用UDF函数解析公共字段；用UDTF函数解析事件字段。
- （2）自定义UDF：继承UDF，重写evaluate方法
- （3）自定义UDTF：继承自GenericUDTF，重写3个方法：initialize（自定义输出的列名和类型），process（将结果返回forward(result)），close
-
2）为什么要自定义UDF/UDTF？
- 因为自定义函数，可以自己埋点Log打印日志，出错或者数据异常，方便调试。
- 引入第三方jar包时，也需要。
7.窗口函数
-
1）Rank
- （1）RANK() 排序相同时会重复，总数不会变
- （2）DENSE_RANK() 排序相同时会重复，总数会减少
- （3）ROW_NUMBER() 会根据顺序计算
-
2） OVER()：
指定分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变而变化- （1）CURRENT ROW：当前行
- （2）n PRECEDING：往前n行数据
- （3） n FOLLOWING：往后n行数据
- （4）UNBOUNDED：起点，UNBOUNDED PRECEDING 表示从前面的起点， UNBOUNDED FOLLOWING表示到后面的终点
- （5） LAG(col,n)：往前第n行数据
- （6）LEAD(col,n)：往后第n行数据
- （7） NTILE(n)：把有序分区中的行分发到指定数据的组中，各个组有编号，编号从1开始，对于每一行，NTILE返回此行所属的组的编号。注意：n必须为int类型。
-
3）手写：分组TopN、行转列、列转行
8.数据倾斜（重点）
绝大部分任务都很快完成，只有一个或者少数几个任务执行的很慢甚至最终执行失败，这样的现象为数据倾斜现象。
一定要和数据过量导致的现象区分开，数据过量的表现为所有任务都执行的很慢，这个时候只有提高执行资源才可以优化HQL的执行效率。
综合来看，导致数据倾斜的原因在于按照Key分组以后，少量的任务负责绝大部分数据的计算，也就是说产生数据倾斜的HQL中一定存在分组操作，那么从HQL的角度，我们可以将数据倾斜分为单表携带了GroupBy字段的查询和两表（或者多表）Join的查询。
-
1 单表数据倾斜优化
-
1 当任务中存在GroupBy操作同时聚合函数为count或者sum可以设置参数来处理数据倾斜问题。
是否在Map端进行聚合，默认为True
set hive.map.aggr = true;
在Map端进行聚合操作的条目数目
set hive.groupby.mapaggr.checkinterval = 100000;有数据倾斜的时候进行负载均衡（默认是false）
set hive.groupby.skewindata = true;
当选项设定为 true，生成的查询计划会有两个MR Job。 -
2 增加Reduce数量（多个Key同时导致数据倾斜）
1）调整reduce个数方法一
（1）每个Reduce处理的数据量默认是256MB
set hive.exec.reducers.bytes.per.reducer = 256000000
（2）每个任务最大的reduce数，默认为1009
set hive.exec.reducers.max = 1009
（3）计算reducer数的公式
N=min(参数2，总输入数据量/参数1)(参数2 指的是上面的1009，参数1值得是256M)
2）调整reduce个数方法二
在hadoop的mapred-default.xml文件中修改
设置每个job的Reduce个数
set mapreduce.job.reduces = 15; -
3 count(distinct) 情形：某特殊值过多
-
-
2 Join数据倾斜优化
- 1 在编写 Join 查询语句时，
如果确定是由于 join 出现的数据倾斜join的键对应的记录条数超过这个值则会进行分拆，值根据具体数据量设置
set hive.skewjoin.key=100000;
# 如果是join过程出现倾斜应该设置为true
set hive.optimize.skewjoin=false;
如果开启了，在Join过程中Hive会将计数超过阈值hive.skewjoin.key（默认100000）的倾斜key对应的行临时写进文件中，然后再启动另一个job做map join生成结果。通过 hive.skewjoin.mapjoin.map.tasks参数还可以控制第二个job的mapper数量，默认10000。
set hive.skewjoin.mapjoin.map.tasks=10000;
- 2 MapJoin
MapJoin 是将 Join 双方比较小的表直接分发到各个 Map 进程的内存中，在 Map 进程中进行 Join 操 作，这样就不用进行 Reduce 步骤，从而提高了速度。如果不指定MapJoin或者不符合MapJoin的条件，那么Hive解析器会将Join操作转换成Common Join，即：在Reduce阶段完成Join。容易发生数据倾斜。可以用MapJoin把小表全部加载到内存在Map端进行Join，避免Reducer处理。
1）开启MapJoin参数设置
（1）设置自动选择MapJoin
set hive.auto.convert.join=true; #默认为true
（2）大表小表的阈值设置（默认25M以下认为是小表）：
set hive.mapjoin.smalltable.filesize=25000000;
2）MapJoin工作机制
MapJoin 是将 Join 双方比较小的表直接分发到各个 Map 进程的内存中，在 Map 进程中进行 Join 操作，这样就不用进行 Reduce 步骤，从而提高了速度。
- 3 不同数据类型关联产生数据倾斜
- 控制空值分布
9.Hive Map优化
-
1 复杂文件增加Map数
当input的文件都很大，任务逻辑复杂，map执行非常慢的时候，可以考虑增加Map数，来使得每个map处理的数据量减少，从而提高任务的执行效率。
增加map的方法为：根据
computeSliteSize(Math.max(minSize,Math.min(maxSize,blocksize)))=blocksize=128M公式，调整maxSize最大值。让maxSize最大值低于blocksize就可以增加map的个数。 -
2 小文件进行合并
1）在map执行前合并小文件，减少map数：CombineHiveInputFormat具有对小文件进行合并的功能（系统默认的格式）。HiveInputFormat没有对小文件合并功能。
set hive.input.format= org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
2）在Map-Reduce的任务结束时合并小文件的设置：
在map-only任务结束时合并小文件，默认true
set hive.merge.mapfiles = true;
在map-reduce任务结束时合并小文件，默认false
set hive.merge.mapredfiles = true;
合并文件的大小，默认256M
set hive.merge.size.per.task = 268435456;
当输出文件的平均大小小于该值时，启动一个独立的map-reduce任务进行文件merge
set hive.merge.smallfiles.avgsize = 16777216; -
3 Map端聚合
set hive.map.aggr=true;相当于map端执行combiner
10.Hive Reduce优化
-
1 合理设置Reduce数
1）调整reduce个数方法一
（1）每个Reduce处理的数据量默认是256MB
set hive.exec.reducers.bytes.per.reducer = 256000000
（2）每个任务最大的reduce数，默认为1009
set hive.exec.reducers.max = 1009
（3）计算reducer数的公式
N=min(参数2，总输入数据量/参数1)(参数2 指的是上面的1009，参数1值得是256M)
2）调整reduce个数方法二
在hadoop的mapred-default.xml文件中修改
设置每个job的Reduce个数
set mapreduce.job.reduces = 15;
3）reduce个数并不是越多越好
（1）过多的启动和初始化reduce也会消耗时间和资源；
（2）另外，有多少个reduce，就会有多少个输出文件，如果生成了很多个小文件，那么如果这些小文件作为下一个任务的输入，则也会出现小文件过多的问题；
在设置reduce个数的时候也需要考虑这两个原则：处理大数据量利用合适的reduce数；使单个reduce任务处理数据量大小要合适；
11.Hive里边字段的分隔符用的什么？为什么用\t？有遇到过字段里边有\t的情况吗，怎么处理的？
- hive 默认的字段分隔符为ascii码的控制符\001（^A）,建表的时候用fields terminated by ‘\001’。注意：如果采用\t或者\001等为分隔符，需要要求前端埋点和javaEE后台传递过来的数据必须不能出现该分隔符，通过代码规范约束。一旦传输过来的数据含有分隔符，需要在前一级数据中转义或者替换（ETL）。
- 可以设置参数（导入HDFS同样有效）：
–hive-drop-import-delims 导入到hive时删除 \n, \r, \001
–hive-delims-replacement 导入到hive时用自定义的字符替换掉 \n, \r, \001
12.Tez引擎优点？
-
Tez可以将多个有依赖的作业转换为一个作业，这样只需写一次HDFS，且中间节点较少，从而大大提升作业的计算性能。
-
Mr/tez/spark区别：
- Mr引擎：多job串联，基于磁盘，落盘的地方比较多。虽然慢，但一定能跑出结果。一般处理，周、月、年指标。
- Spark引擎：虽然在Shuffle过程中也落盘，但是并不是所有算子都需要Shuffle，尤其是多算子过程，中间过程不落盘 DAG有向无环图。 兼顾了可靠性和效率。一般处理天指标。
- Tez引擎：完全基于内存。 注意：如果数据量特别大，慎重使用。容易OOM。一般用于快速出结果，数据量比较小的场景。
13.MySQL元数据备份
-
1）MySQL之元数据备份（项目中遇到的问题）
- 元数据备份（重点，如数据损坏，可能整个集群无法运行，至少要保证每日零点之后备份到其它服务器两个复本）
Keepalived或者用mycat
- 元数据备份（重点，如数据损坏，可能整个集群无法运行，至少要保证每日零点之后备份到其它服务器两个复本）
-
2）MySQL utf8超过字节数问题
- MySQL的utf8编码最多存储3个字节，当数据中存在表情号、特色符号时会占用超过3个字节数的字节，那么会出现错误 Incorrect string value: ‘\xF0\x9F\x91\x91\xE5\xB0…’
- 解决办法：将utf8修改为utf8mb4
14.Union与Union all区别
- 1）union会将联合的结果集去重，效率较union all差
- 2）union all不会对结果集去重，所以效率高
15.简单描述一下HIVE的功能？用hive创建表有几种方式？
- hive主要是做离线分析的
- hive建表有三种方式
- 直接建表法
- 查询建表法
- like建表法
16.若在hive中建立分区仍不能优化查询效率，建表时如何优化
- 可以重新建表为分区分桶表
17.简述delete，drop，truncate的区别
- delet 删除数据
drop 删除表
truncate 摧毁表结构并重建
18.分区表和分桶表的区别
-
1.两者的区别
- （1）分区和分桶都是细化数据管理，但是分区表是手动添加区分，由于hive是读模式，所以对添加进分区的数据不做模式校验。分桶表的数据时按住某些分桶字段进行hash散列 相乘的多个文件，所以数据的准确性高很多
- （2）分区表是指按照数据表的某列或某些列分为多个区，区从形式上可以理解为文件夹
- （3）分桶是相对分区进行更细粒度的划分。分桶将整个数据内容按照某列属性值的hash值进行区分，如要按照name属性分为3个桶，就是对name属性值的hash值对3取摸，按照取模结果对数据分桶。如取模结果为0的数据记录存放到一个文件，取模为1的数据存放到一个文件，取模为2的数据存放到一个文件
-
2.归纳总结两者的区别：
- （1）从表现形式上：
分区表是一个目录，分桶表是文件 - （2）从创建语句上：
分区表使用partitioned by 子句指定，以指定字段为伪列，需要指定字段类型
分桶表由clustered by 子句指定，指定字段为真实字段，需要指定桶的个数 - （3）从数量上：
分区表的分区个数可以增长，分桶表一旦指定，不能再增长 - （4）从作用上：
分区避免全表扫描，根据分区列查询指定目录提高查询速度
分桶保存分桶查询结果的分桶结构（数据已经按照分桶字段进行了hash散列）。
分桶表数据进行抽样和JOIN时可以提高MR程序效率
- （1）从表现形式上：
19.hive中导入数据的4种方式
- 从本地导入： load data local inpath /home/nx into table nx.test
- 从hdfs导入：load data inpath /user/hive/warehouse/a.txt into nx.test
- 查询导入：create table tmp_test as select * from nx.test
- 查询结果导入：insert into table tmp.test select * from nx.test
20.Hive的执行流程？
-
- 用户提交查询等任务给Driver。
-
- 编译器获得该用户的任务Plan。
-
- 编译器Compiler根据用户任务去MetaStore中获取需要的Hive的元数据信息。
-
- 编译器Compiler得到元数据信息，对任务进行编译，先将HiveQL转换为抽象语法树，然后将抽象语法树 转换成查询块，将查询块转化为逻辑的查询计划，重写逻辑查询计划，将逻辑计划转化为物理的计划 （MapReduce）, 最后选择最佳的策略。
-
- 将最终的计划提交给Driver。
-
- Driver将计划Plan转交给ExecutionEngine去执行，获取元数据信息，提交给JobTracker或者 SourceManager执行该任务，任务会直接读取HDFS中文件进行相应的操作。
-
- 获取执行的结果。
-
- 取得并返回执行结果。
21.on和where的区别
- 不考虑where条件下,left join 会把左表所有数据查询出来，on及其后面的条件仅仅会影响右表的数据(符 合就显示,不符合全部为null)
- 在匹配阶段，where子句的条件都不会被使用，仅在匹配阶段完成以后，where子句条件才会被使用，它将从 匹配阶段产生的数据中检索过滤
- 所以左连接关注的是左边的主表数据，不应该把on后面的从表中的条件加到where后，这样会影响原有主表中 的数据
- where后面：是先连接然生成临时查询结果，然后再筛选
- on后面：先根据条件过滤筛选，再连接生成临时查询结果