Hive面试题考点-整理

1)Hive数据倾斜问题:

倾斜原因: map输出数据按Key Hash分配到reduce中,由于key分布不均匀、或者业务数据本身的特点。等原因造成的reduce上的数据量差异过大。

1.1)key分布不均匀

1.2)业务数据本身的特性

1.3)SQL语句造成数据倾斜

解决方案:

1>参数调节:

    hive.map.aggr=true

    hive.groupby.skewindata=true

有数据倾斜的时候进行负载均衡,当选项设定为true,生成的查询计划会有两个MR Job。第一个MR Job中,Map的输出结果集合会随机分布到Reduce中,每个Reduce做部分聚合操作,并输出结果,这样处理的结果是相同Group By Key有可能被分发到不同的Reduce中,从而达到负载均衡的目的;第二个MR Job在根据预处理的数据结果按照 Group By Key 分布到Reduce中(这个过程可以保证相同的 Group By Key 被分布到同一个Reduce中),最后完成最终的聚合操作。

2>SQL语句调节:

   1)选用join key 分布最均匀的表作为驱动表。做好列裁剪和filter操作,以达到两表join的时候,数据量相对变小的效果。

   2)大小表Join: 使用map join让小的维度表(1000条以下的记录条数)先进内存。在Map端完成Reduce。

   3)大表Join大表:把空值的Key变成一个字符串加上一个随机数,把倾斜的数据分到不同的reduce上,由于null值关联不上,处理后并不影响最终的结果。

   4)count distinct大量相同特殊值:count distinct时,将值为空的情况单独处理,如果是计算count distinct,可以不用处理,直接过滤,在做后结果中加1。如果还有其他计算,需要进行group by,可以先将值为空的记录单独处理,再和其他计算结果进行union.


2)请说明hive中 sort by ,order by ,cluster by ,distribute by各代表什么意思。

order by :会对输入做全局排序,因此只有一个reducer(多个reducer无法保证全局有序).只有一个reducer,会导致当输入规模较大时,需要较长的计算时间。

sort by :不是全局排序,其在数据进入reducer前完成排序

distribute by :按照指定的字段对数据进行划分输出到不同的reduce中

cluster by :除了具有distribute by 的功能外还兼具sort by 的功能


3)描述数据中的null,在hive底层如何存储

null在hive底层默认是用"\N"来存储的,所以在sqoop到mysql之前需要将为null的数据加工成其他字符,否则sqoop提示错误


4)Hive中 split、coalesce以及collect_list函数的用法

   split将字符串转化为数组

    coalesce(T v1,T v2,...) 返回参数中的第一个非空值;如果所有值都为null,那么返回null

    collect_list列出该字段所有的值,不去重 select collect_list(id) from table;


5)将文件导入到hive表中

   load data local inpath '/a.txt' overwrite into table test partition(xx='xx')

  

6)Hive文件压缩格式有哪些,压缩效率如何

开启压缩

set hive.exec.compress.output=true;

set mapred.output.compress=true;

set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;

set io.compression.codec=org.apache.hadoop.io.compress.GzipCodec;

set mapred.output.compression.type=BLOCK;

TextFile (压缩方式Gzip,Bzip2压缩后不支持split)

SequenceFile

RCFile(存储方式:数据按行分块,每块按列存储。结合了行存储和列存储的优点)

ORCFile


7)Hive的分组方式

row_number() 是没有重复值的排序(即使两天记录相等也是不重复的),可以利用它来实现分页
dense_rank() 是连续排序,两个第二名仍然跟着第三名
rank()       是跳跃排序的,两个第二名下来就是第四名



你可能感兴趣的:(Hive)