学习Hive(五)Hive 优化

Hive优化核心思想是把Hive Sql当做MapReduce去优化。

1、select查询本表、where进队本表字段做过滤时不会转为MapReduce执行。

原因：Hive抓取策略配置。Set hive.fetch.task.conversion=none/more;

默认配置为more.所以对部分查询不会转为MapReduce执行。

2、Hive sql转为MapReduce的过程：1）抽象语法树。2）查询块。3）逻辑查询计划。4）物理查询计划。5）优化执行

可以使用explain (在加extends 会更详细的展示) select count(*) from psn;查看sql的执行计划。分析计划效率。

3、Hive sql之前介绍的都是运行在集群上。在本机测试时可以设置在本地。

设置：set hive.exec.mode.local.auto=true;设置完成hive sql就会运行在本地上。而不通过yarn集群。所以效率比较高。

注意：hive.exec.mode.local.auto.inputbytes.max默认值为128M。它表示文件加载的最大值。若大于该配置依然会在集群运行。

 

4、开启并行计算。

设置下面参数，开启并行计算：

set hive.exec.parallel=true

比如 select t1.ct,t2.ct1  from (select count(name) ct from psn) t1,(select count(id) ct1 from psn)t2;

正常情况下会分成多个job依次执行。但是如果第一个select count 和第二个同时执行，就会提高了效率。

注意这个参数：hive.exec.parallel.thread.number；

意思为一个sql中允许并行执行的job个数的最大值。默认为8.

5、严格模式。

开启严格模式：set hive.mapred.mode=strict;  默认为nonstrict

此模式对于查询的限制：1.对于分区表，必须where对于分区字段的过滤。2、order by 必须包含limit做输出限制。3、限制执行笛卡尔积查询。

通过限制提升查询效率。

6、Hive 排序。

Order by 是对全部查询结果的全排序。只允许有一个reduce处理，所以效率非常低（尤其是数据量大时慎用）。

Sort by ：是对于单个reduce内的数据排序。

Distribut by  ：reduce间的排序（分区排序）。常和Sort by一起使用达到分区有序和区间内有序。

distribute by column sort by column asc|desc

cluster by 相当于Distribut by +Sort by  但是cluster by 不能配合desc asc指定排序规则。

7、Hive jion

思想： jion计算时将小表放在左边。希望将小表加载到内存，大表逐行取出与其对比。这样的方式会比较节约内存。

Map Join:在Map端完成Jion.

两种实现方式：

【1】、手动添加MapJoin标记。/*+ */ 里定义的表识别为小表

select /*+ mapjoin(p)*/ p.id,p1.id from psn p join psn24 p1 on p.id=p1.id;

【2】、开启自动的MapJoin，程序根据表的大小自动识别为哪个是小表.设置以下配置启动：set hive.auto.convert.join = true;

其他相关参数：

注意：第二个参数的意思为，当既写了/*+ */标记又开启的自动识别时。标记无效。不配置这个的话，如果标记与自动识别都配置了，那么标记生效。

8、Hive Jion 尽可能使用相同的连接建（会转化为一个MapReduce作业）。

9、大表Jion大表：

  【1】空key过滤。有时Join超时是因为某些key对应的数据太多。相同key对应的数据都是在相同的reducer中运算的。从而内存不够。此时，分析这些key,很多情况key对应的是异常数据，我们可以再sql语句中进行过滤。

 【2】空key转换。当key为空时，有时会对应很多数据。这些数据也要join到结果中。这时可以使表中的空key赋予随机数，使数据均匀分布在reducer中。

10、map-side聚合。

通过设置开启map-site聚合：set hive.map.aggr=true;

原理：就是map之后shuffle之前的combiner阶段。先对数据做一部分聚合。减少文件，减少shuffle阶段的IO，进而提高性能。

11、合并小文件。（注意：这里合并小文件原理没理解清楚。）

12、控制map及reduce数量：

13、Hive JVM重用。

场景：小文件过多，task很多

原理：提前按配置申请一定资源（槽），是多个task同时进行。

配置：set mapred.job.reuse.jvm.num.tasks=n;  n为插槽个数

缺点：设置开启后task会一直占用资源，不论task是否运行。直到整个job（全部task）全部完成，才会释放所有的插槽资源。