大数据Spark “蘑菇云”行动第94课：Hive性能调优之Mapper和Reducer设置、队列设置和并行执行、JVM重用和动态分区、Join调优

大数据Spark “蘑菇云”行动第94课：Hive性能调优之Mapper和Reducer设置、队列设置和并行执行、JVM重用和动态分区、Join调优


hive> show databases;
use default;
show tables;
select * from employeesforhaving;


hive> EXPLAIN select * from employeesforhaving;//HIVE的stage类似spark的stage


hive> EXPLAIN select * from employeesforhaving where>10000;

hive> use hivestudy;
show tables;

hive> EXPLAIN  select * from users join ratings on users.usrid =ratings.userid;
hive> EXPLAIN  EXTENDED  select * from users join ratings on users.usrid =ratings.userid;

在现在的hive底层中运行mapper和reducer的时候，mapper的个数由splits的个数确定，reduce的个数默认是1个；


设置HIVE的reduce的个数3个；

hive> set mapred.reduce.tasks =3 ; 

hive> set mapred.queue.name=default ;
hive> set mapred.queue.name=hive ;


hive在默认情况只会在同一时间执行一个stage，但是我们可以通过设置hive.exec.parallel为true来让可以并行执行的stage并行化，从而更好的利用集群的计算资源。

JVM的重用在hive性能优化中非常重要，mapred.job.reuse.jvm.num.tasks =10 ，也就是这个jvm可以运行10个任务，例如运行10个mapper；
如果小文件比较多的话，会对性能有1倍左右的提高；


动态分区提高空间的有效利用率
set.hive.exec.dynamic.partition =true ;
set.hive.exec.dynamic.partition.mode  =nonstrict;

hive的join操作一般问题都是数据倾斜，尤其是在小表（该小表又比较大）和大表关联的情况下，如果小表比较大，可以通过设置
参数，对小表进行broadscast；但是，问题来了，小表比较大进行广播会产生OOM，网络传输小表的时候也是一个非常大的开销，
例如，小表是1000万条记录，而大表是10亿条记录，小表和大表进行join，怎么办了，如可先进行map端的reduce操作。

hive的解决方案和spark的解决方案完全一样。