Hive碎碎念（10）：任务常见问题与处理方法

问题1、map/reduce过程中报错：

第一种报错：“java.lang.OutOfMemoryError: GC overhead limit exceeded“
第二种报错：“java.lang.OutOfMemoryError: Java heapspace”
第三种报错：“running beyondphysical memory limits.Current usage: 4.3 GB of 4.3 GBphysical memory used; 7.4 GB of 13.2 GB virtual memory used. Killing container”。
分析：这三种报错是由于map task或reduce task在container中运行时处理数据需要的内存资源与申请分配到的资源不匹配造成，
处理：这时可以在原资源基础上调大对应的map和reduce申请资源的参数以及对应jvm参数：

  set mapreduce.map.memory.mb=6144;
  set mapreduce.map.java.opts=-Xmx4608M;（根据需要更改具体值，但这对参数的比例是1:0.75）
  set mapreduce.reduce.memory.mb = 8192;
  set mapreduce.reduce.java.opts = -Xmx6144M;（根据需要更改具体值，但这对参数的比例是1:0.75）

同时也可以提升vcore的数量，加快container的计算，降低oom的几率

  set mapreduce.map.cpu.vcores = 4
  set mapreduce.reduce.cpu.vcores = 8

问题2、MRAppMaster报错java.lang.OutOfMemoryError thrown from theUncaughtExceptionHandler

分析：如果job输入的数据很大，导致产生了大量的Mapper和Reducer，MRAppMaster压力很大，最终导致MRAppMaster内存不足
处理：这时可以适当调大am的相关内存参数：

  set yarn.app.mapreduce.am.command-opts=-Xmx4608M
  set yarn.app.mapreduce.am.resource.mb=8192
  set yarn.app.mapreduce.am.resource.cpu-vcores=10

问题3、客户端报错：java.io.IOException:Split metadata size exceeded 10000000

分析：hadoop参数重mapreduce.job.split.metainfo.maxsize 参数默认设置10M，
job.splitmetainfo该文件记录split的元数据信息，如input文件过多，记录的文件结构信息超出默认设置就会报错；输入文件包括大量小文件或者文件目录，造成Splitmetainfo文件超过默认上限。这个机制也是hadoop集群要求文件大小不能过小或目录过多，避免namenode出现元数据加载处理瓶颈。如block默认128M，则文件应大于这个，尽量合并小文件。
处理：可临时调整参数忽略此校验：

set mapreduce.job.split.metainfo.maxsize=-1

或者将此值设置的更大：

set mapreduce.job.split.metainfo.maxsize=20000000

问题4、因map数超阈值被kill

可根据集群预置调整map数
分析：map数主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小
1. 如果读取的表中有太多小文件会导致map数过多，可以通过设置以下参数在map执行前合并小文件，以降低map数：

 set hive.input.format = org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
 set hive.hadoop.supports.splittable.combineinputformat = true;
 set mapreduce.input.fileinputformat.split.maxsize = 256000000;
 set mapreduce.input.fileinputformat.split.minsize.per.node=256000000;
 set mapreduce.input.fileinputformat.split.minsize.per.rack=256000000;

2.对于数据量过大的问题
1）如果文本类型文件，如txt、orc数据量太大，可以通过调整每个map处理的数据量来降低map数

  set mapreduce.input.fileinputformat.split.maxsize = 256000000;
  set mapreduce.input.fileinputformat.split.minsize = 256000000;

2）如果是lzo格式表，可以设置跳过文件索引

   set hive.lzo.use.index=false; 

 这时需搭配调高map的内存以及vcore数量

    set mapreduce.map.memory.mb=6144;（根据需要根据文件大小设置）
    set mapreduce.map.java.opts=-Xmx4608M;（这对参数的比例是1:0.75）
    set yarn.app.mapreduce.am.resource.cpu-vcores=10

注：如果因为数据量太大导致map和reduce运行缓慢，可以调大资源申请量（注意map和reduce对应的一对参数的设置比例为1:0.75）
// MAP YARN 申请内存

set mapreduce.map.memory.mb=6144;

// MAP JVM 内存

set mapreduce.map.java.opts=-Xmx4608M;（根据需要更改具体值）

// REDUCE YARN 申请内存

set mapreduce.reduce.memory.mb=8192;

// REDUCE JVM 内存

set mapreduce.reduce.java.opts=-Xmx4096M;（根据需要更改具体值）