数据倾斜以及本地模式的介绍

一：数据倾斜

Map数
            1）通常情况下，作业会通过input的目录产生一个或者多个map任务。
            主要的决定因素有：input的文件总个数，input的文件大小，集群设置的文件块大小。
            2）是不是map数越多越好？
            答案是否定的。如果一个任务有很多小文件（远远小于块大小128m），则每个小文件也会被当做一个块，
            用一个map任务来完成，而一个map任务启动和初始化的时间远远大于逻辑处理的时间，就会造成很大的资源浪费。
            而且，同时可执行的map数是受限的。
            3）是不是保证每个map处理接近128m的文件块，就高枕无忧了？
            答案也是不一定。比如有一个127m的文件，正常会用一个map去完成，但这个文件只有一个或者两个小字段，
            却有几千万的记录，如果map处理的逻辑比较复杂，用一个map任务去做，肯定也比较耗时。
            针对上面的问题2和3，我们需要采取两种方式来解决：即减少map数和增加map数；
        小文件进行合并
            在map执行前合并小文件，减少map数：CombineHiveInputFormat具有对小文件进行合并的功能（系统默认的格式）。
            HiveInputFormat没有对小文件合并功能。
            set hive.input.format= org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
        复杂文件增加Map数
            当input的文件都很大，任务逻辑复杂，map执行非常慢的时候，可以考虑增加Map数
            ，来使得每个map处理的数据量减少，从而提高任务的执行效率。
            增加map的方法为：根据computeSliteSize(Math.max(minSize,Math.min(maxSize,blocksize)))=blocksize=128M公式，
            调整maxSize最大值。让maxSize最大值低于blocksize就可以增加map的个数。
            案例实操：
            （1）执行查询
            hive (default)> select count(*) from emp;
            Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 1
                （2）设置最大切片值为100个字节
            hive (default)> set mapreduce.input.fileinputformat.split.maxsize=100;
            hive (default)> select count(*) from emp;
            Hadoop job information for Stage-1: number of mappers: 6; number of reducers: 1

Reduce数
            1）调整reduce个数方法一
            （1）每个Reduce处理的数据量默认是256MB
            hive.exec.reducers.bytes.per.reducer=256000000
                （2）每个任务最大的reduce数，默认为1009
            hive.exec.reducers.max=1009
            （3）计算reducer数的公式
            N=min(参数2，总输入数据量/参数1)
            2）调整reduce个数方法二
            在hadoop的mapred-default.xml文件中修改
            设置每个job的Reduce个数n
            set mapreduce.job.reduces = 15;
            3）reduce个数并不是越多越好
            1）过多的启动和初始化reduce也会消耗时间和资源；
            2）另外，有多少个reduce，就会有多少个输出文件，如果生成了很多个小文件，
            那么如果这些小文件作为下一个任务的输入，则也会出现小文件过多的问题；
            在设置reduce个数的时候也需要考虑这两个原则：
            处理大数据量利用合适的reduce数；使单个reduce任务处理数据量大小要合适；

二：本地模式

  1)理论分析
  大多数的HadoopJob是需要Hadoop提供的完整的可扩展性来处理大数据集的。不过，有时Hive的输入数据量是非常小的。在这种情况下，为查询触发执行任务时消耗可能会比实际job的执行时间要多的多。对于大多数这种情况，Hive可以通过本地模式在单台机器_上处理所有的任务。
  对于小数据集，执行时间可以明显被缩短。用户可以通过设置hive . exec . mode . local . auto的值为true,来让Hive在适当的时候自动启动这个优化。
  set hive.exec.mode.local.auto=true; / /开启本地mr
  //设置local mr的最大输入数据量，当输入数据量小于这个值时采用local mr的方式，默认为134217728，即128M
  set hive.exec.mode.local.auto.inputbytes.max= 50000000;
  //设置local mr的最大输入文件个数，当输入文件个数小于这个值时采用local mr的方式，默认为4
  set hive.exec.mode.local.auto.input.files.max=10;
  2)
  案例实操:
  (1)开启本地模式，并执行查询语句
  hive (default)> set hive.exec.mode.local.auto=true;
  hive (default)> select * from emp cluster by deptno;
  Time taken: 1.328 seconds, Fetched: 14 row(s)
  (2)关闭本地模式，并执行查询语句
  hive (default)> set hive.exec.mode.local.auto=false;
  hive (default)> select * from emp cluster by deptno;
  Time taken: 20.09 seconds, Fetched: 14 row(s)