Hive-面试题

 

hive数据倾斜的解决方案 数据倾斜是进行大数据计算时最经常遇到的问题之一。当我们在执行HiveQL或者运行MapReduce作业时候，如果遇到一直卡在map100%,reduce99%一般就是遇到了数据倾斜的问题。数据倾斜其实是进行分布式计算的时候，某些节点的计算能力比较强或者需要计算的数据比较少，早早执行完了，某些节点计算的能力较差或者由于此节点需要计算的数据比较多，导致出现其他节点的reduce阶段任务执行完成，但是这种节点的数据处理任务还没有执行完成。下面是在hive中产生数据倾斜的原因和解决方法： 1）group by group by,我使用Hive对数据做一些类型统计的时候遇到过某种类型的数据量特别多，而其他类型数据的数据量特别少。当按照类型进行group by的时候，会将相同的group by字段的reduce任务需要的数据拉取到同一个节点进行聚合，而当其中每一组的数据量过大时，会出现其他组的计算已经完成而这里还没计算完成，其他节点的一直等待这个节点的任务执行完成，所以会看到一直map 100%  reduce 99%的情况。 解决方法：set hive.map.aggr=true  ；                   set hive.groupby.skewindata=true 原理：hive.map.aggr=true 这个配置项代表是否在map端进行聚合           hive.groupby.skwindata=true 当选项设定为 true，生成的查询计划会有两个 MR Job。第一个 MR Job 中，Map 的输出结果集合会随机分布到 Reduce 中，每个 Reduce 做部分聚合操作，并输出结果，这样处理的结果是相同的 Group By Key 有可能被分发到不同的 Reduce 中，从而达到负载均衡的目的；第二个 MR Job 再根据预处理的数据结果按照 Group By Key 分布到 Reduce 中（这个过程可以保证相同的 Group By Key 被分布到同一个 Reduce 中），最后完成最终的聚合操作。   2）map和reduce优化。 　　　　1.当出现小文件过多，需要合并小文件。可以通过set hive.merge.mapfiles=true来解决。  　　　   2.单个文件大小稍稍大于配置的block块的大写，此时需要适当增加map的个数。解决方法：set mapred.map.tasks个数 　   　　 3.文件大小适中，但map端计算量非常大，如select id,count(*),sum(case when...),sum(case when...)...需要增加map个数。解决方法：set mapred.map.tasks个数，set mapred.reduce.tasks个数   3）当HiveQL中包含count（distinct）时          如果数据量非常大，执行如select a,count(distinct b) from t group by a;类型的SQL时，会出现数据倾斜的问题。          解决方法：使用sum...group by代替。如select a,sum(1) from (select a, b from t group by a,b) group by a;   4）当遇到一个大表和一个小表进行join操作时。 　　  解决方法：使用mapjoin 将小表加载到内存中。 　  　如：select /*+ MAPJOIN(a) */      　　　　　　a.c1, b.c1 ,b.c2 　　　　　from a join b  　　　　　where a.c1 = b.c1;  5）遇到需要进行join的但是关联字段有数据为空，如表一的id需要和表二的id进行关联 　　   解决方法1：id为空的不参与关联 　　　　比如：select * from log a  　　　　　　join users b  　　　　　　on a.id is not null and a.id = b.id  　　　　　　　union all  　　　　　　　select * from log a  　　　　　　where a.id is null;  　　　解决方法2：给空值分配随机的key值 　　　　　　如：select * from log a  　　　　　　　　left outer join users b  　　　　　　　　on  　　　　　　　　case when a.user_id is null  　　　　　　　　then concat(‘hive’,rand() )  　　　　　　　　else a.user_id end = b.user_id;

 

Hive中追加导入数据的4种方式是什么？请写出简要语法 从本地导入： load data local inpath ‘/home/1.txt’ (overwrite)into table student; 从Hdfs导入： load data inpath ‘/user/hive/warehouse/1.txt’ (overwrite)into table student; 查询导入： create table student1 as select * from student;(也可以具体查询某项数据) 查询结果导入：insert （overwrite）into table staff select * from track_log;

 

Hive导出数据有几种方式？如何导出数据  用insert overwrite导出方式         导出到本地：         insert overwrite local directory ‘/home/robot/1/2’ rom format delimited fields terminated by ‘\t’ select * from staff;(递归创建目录)         导出到HDFS         insert overwrite directory ‘/user/hive/1/2’ rom format delimited fields terminated by ‘\t’ select * from staff;   Bash shell覆盖追加导出， 例如：$ bin/hive -e “select * from staff;” > /home/z/backup.log Sqoop把hive数据导出到外

Hive 分区表 在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。分区表指的是在创建表时指定的partition的分区空间。  Hive可以对数据按照某列或者某些列进行分区管理，所谓分区我们可以拿下面的例子进行解释。  当前互联网应用每天都要存储大量的日志文件，几G、几十G甚至更大都是有可能。存储日志，其中必然有个属性是日志产生的日期。在产生分区时，就可以按照日志产生的日期列进行划分。把每一天的日志当作一个分区。  将数据组织成分区，主要可以提高数据的查询速度。至于用户存储的每一条记录到底放到哪个分区，由用户决定。即用户在加载数据的时候必须显示的指定该部分数据放到哪个分区。  1.1 实现细节 1、一个表可以拥有一个或者多个分区，每个分区以文件夹的形式单独存在表文件夹的目录下。  2、表和列名不区分大小写。  3、分区是以字段的形式在表结构中存在，通过describe table命令可以查看到字段存在， 但是该字段不存放实际的数据内容，仅仅是分区的表示（伪列） 。  1.2 语法 1. 创建一个分区表，以 ds 为分区列：  create table invites (id int, name string) partitioned by (ds string) row format delimited fields terminated by 't' stored as textfile;  2. 将数据添加到时间为 2013-08-16 这个分区中：  load data local inpath '/home/hadoop/Desktop/data.txt' overwrite into table invites partition (ds='2013-08-16');  3. 将数据添加到时间为 2013-08-20 这个分区中：  load data local inpath '/home/hadoop/Desktop/data.txt' overwrite into table invites partition (ds='2013-08-20');  4. 从一个分区中查询数据：  select * from invites where ds ='2013-08-12';  5.  往一个分区表的某一个分区中添加数据：  insert overwrite table invites partition (ds='2013-08-12') select id,max(name) from test group by id;  可以查看分区的具体情况，使用命令：  hadoop fs -ls /home/hadoop.hive/warehouse/invites  或者：  show partitions tablename;

Hive 桶 对于每一个表（table）或者分区， Hive可以进一步组织成桶，也就是说桶是更为细粒度的数据范围划分。Hive也是 针对某一列进行桶的组织。Hive采用对列值哈希，然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。 把表（或者分区）组织成桶（Bucket）有两个理由： （1）获得更高的查询处理效率。桶为表加上了额外的结构，Hive 在处理有些查询时能利用这个结构。具体而言，连接两个在（包含连接列的）相同列上划分了桶的表，可以使用 Map 端连接 （Map-side join）高效的实现。比如JOIN操作。对于JOIN操作两个表有一个相同的列，如果对这两个表都进行了桶操作。那么将保存相同列值的桶进行JOIN操作就可以，可以大大较少JOIN的数据量。 （2）使取样（sampling）更高效。在处理大规模数据集时，在开发和修改查询的阶段，如果能在数据集的一小部分数据上试运行查询，会带来很多方便。 1. 创建带桶的 table ： create table bucketed_user(id int,name string) clustered by (id) sorted by(name) into 4 buckets row format delimited fields terminated by '\t' stored as textfile;  首先，我们来看如何告诉Hive—个表应该被划分成桶。我们使用CLUSTERED BY 子句来指定划分桶所用的列和要划分的桶的个数：  CREATE TABLE bucketed_user (id INT) name STRING)  CLUSTERED BY (id) INTO 4 BUCKETS;  在这里，我们使用用户ID来确定如何划分桶(Hive使用对值进行哈希并将结果除 以桶的个数取余数。这样，任何一桶里都会有一个随机的用户集合（PS：其实也能说是随机，不是吗？）。  对于map端连接的情况，两个表以相同方式划分桶。处理左边表内某个桶的 mapper知道右边表内相匹配的行在对应的桶内。因此，mapper只需要获取那个桶 (这只是右边表内存储数据的一小部分)即可进行连接。这一优化方法并不一定要求 两个表必须桶的个数相同，两个表的桶个数是倍数关系也可以。用HiveQL对两个划分了桶的表进行连接，可参见“map连接”部分（P400）。  桶中的数据可以根据一个或多个列另外进行排序。由于这样对每个桶的连接变成了高效的归并排序(merge-sort), 因此可以进一步提升map端连接的效率。以下语法声明一个表使其使用排序桶：  CREATE TABLE bucketed_users (id INT, name STRING)  CLUSTERED BY (id) SORTED BY (id ASC) INTO 4 BUCKETS;  我们如何保证表中的数据都划分成桶了呢？把在Hive外生成的数据加载到划分成 桶的表中，当然是可以的。其实让Hive来划分桶更容易。这一操作通常针对已有的表。  Hive并不检查数据文件中的桶是否和表定义中的桶一致(无论是对于桶 的数量或用于划分桶的列）。如果两者不匹配，在査询时可能会碰到错 误或未定义的结果。因此，建议让Hive来进行划分桶的操作。  有一个没有划分桶的用户表：  hive> SELECT * FROM users;  0    Nat  2    Doe  B    Kay  4    Ann  2. 强制多个 reduce 进行输出： 要向分桶表中填充成员，需要将 hive.enforce.bucketing 属性设置为 true。①这 样，Hive 就知道用表定义中声明的数量来创建桶。然后使用 INSERT 命令即可。需要注意的是： clustered by和sorted by不会影响数据的导入，这意味着，用户必须自己负责数据如何如何导入，包括数据的分桶和排序。  'set hive.enforce.bucketing = true' 可以自动控制上一轮reduce的数量从而适配bucket的个数，当然，用户也可以自主设置mapred.reduce.tasks去适配bucket个数，推荐使用'set hive.enforce.bucketing = true'   3. 往表中插入数据： INSERT OVERWRITE TABLE bucketed_users SELECT * FROM users;  物理上，每个桶就是表(或分区）目录里的一个文件。它的文件名并不重要，但是桶 n 是按照字典序排列的第 n 个文件。事实上，桶对应于 MapReduce 的输出文件分区：一个作业产生的桶(输出文件)和reduce任务个数相同。我们可以通过查看刚才 创建的bucketd_users表的布局来了解这一情况。运行如下命令：   4. 查看表的结构： hive> dfs -ls /user/hive/warehouse/bucketed_users;  将显示有4个新建的文件。文件名如下(文件名包含时间戳，由Hive产生，因此 每次运行都会改变)：  attempt_201005221636_0016_r_000000_0  attempt_201005221636_0016_r-000001_0  attempt_201005221636_0016_r_000002_0  attempt_201005221636_0016_r_000003_0  第一个桶里包括用户IDO和4，因为一个INT的哈希值就是这个整数本身，在这里 除以桶数(4)以后的余数：②  5. 读取数据，看每一个文件的数据： hive> dfs -cat /user/hive/warehouse/bucketed_users/*0_0;  0 Nat  4 Ann