Hive性能优化

Hive优化的四种方式

一、整体架构优化

整体架构优化点:

• 根据不同业务需求进行日期分区, 并执行类型动态分区。

hive.exec.dynamic.partition=true

• 为了减少磁盘存储空间以及I/O次数, 对数据进行压缩(Gzip)

mapreduce.output.fileoutputformat.compress=true
mapreduce.output.fileoutputformat.compress.type=BLOCK
mapreduce.output.fileoutputformat.compress.codec=org.apache.io.compress.GzipCodec

mapreduce.map.output.compress=true
mapreduce.map.output.compress.codec=org.apache.hadoop.io.compress.GzipCodec

hive.exec.compress.output=true
hive.exec.compress.intermediate=true

• hive中间表以SequenceFile保存, 可以节约序列化和反序列化时间

hive.query.result.fileformat=SequenceFile

• yarn优化

  • 为了易于管理资源和调度资源，Hadoop YARN内置了资源规整化算法，它规定了最小可申请资源量、最大可申请资源量和资源规整化因子，如果应用程序申请的资源量小于最小可申请资源量，则YARN会将其大小改为最小可申请量，也就是说，应用程序获得资源不会小于自己申请的资源，但也不一定相等 。

  • 如果应用程序申请的资源量大于最大可申请资源量，则会抛出异常，无法申请成功

  • 规整化因子是用来规整化应用程序资源的，应用程序申请的资源如果不是该因子的整数倍，则将被修改为最小的整数倍对应的值，公式为ceil(a/b)*b [a: 应用程序申请的资源, b: 规整化因子]

    yarn-site.xml中参数设置:

    # 最小可申请内存量, 默认是1024
    yarn.schedular.minimum-allocation-mb
    # 最小可申请CPU数, 默认为1
    yarn.schedular.minimum-allocation-vcores
    # 最大可申请内存量, 默认为8096
    yarn.schedular.maximum-allocation-mb
    # 最大可申请CPU数, 默认为4
    yarn.schedular.maximum-allocation-vcores

    规整化因子对于不同的调度器不同:

    • FIFO(First In First Out) 和 Capacity Scheduler

      • 规整化因子等于最小可申请资源量, 不可单独配置

    • Fair Scheduler(公平调度)

      • 规整化因子通过yarn.schedular.increment-allocation-mb和yarn.schedular.increment-allocation-vcores设置, 默认是1024和1。

二、MapReduce阶段优化

hive操作符:

操作符(Operator)	描述(Description)
TableScanOperator	扫描hive表数据
ReduceSinkOperator	创建将发送到Reduce端的对
JoinOperator	合并两份数据
SelectOperator	选择输出列
FileSinkOperator	建立结果数据, 输出至文件
FilterOperator	过滤输入数据
GroupByOperator	Group By分组语句
MapJoinOperator	/+mapjoin(t)/
LimitOperator	Limit语句
UnionOperator	Union语句

执行流程:

reduce切割算法:

hive.exec.reducers.max=999
hive.exec.reducers.bytes.per.reducer=1G
reduce task num=min{reducers.max,input.size/bytes.per.reducer}
##可以根据实际需求来调整reducer个数

三 、Job优化

• 本地执行
  • 默认关闭了本地执行模式, 小数据可以使用本地模式执行, 加快执行速度。

hive.exec.mode.local.auto=true

##默认本地执行的条件:
hive.exec.mode.local.auto.inputbytes.max=128MB
hive.exec.mode.local.auto.tasks.max=4
# reduce task最多一个

• mapjoin

  • 默认mapjoin为打开的:

    hive.auto.convert.join.noconditionaltask.size=10MB

  • 装载到内存的表必须是通过scan的表(不包括group by等操作), 如果join的两个表都满足上面的条件, /mapjoin/指定表格不起作用, 只会装载小表到内存, 否则就会选哪个满足条件的scan表。

四、SQL优化

整体优化策略:

• 去除查询中不需要的column
• Where条件判断等在TableScan阶段就进行过滤
• 利用Partition信息, 只读取符合条件的Partition
• Map端join, 以大表作驱动, 小表载入所有mapper内存中
• 调整Join顺序, 确保以大表作为驱动表
• 对于数据分布不均匀的表Group by时, 为避免数据集中到少数的reducer上, 分成两个map-reduce阶段。第一个阶段先用Distinct列进行shuffle, 然后在reduce端部分聚合, 减小数据规模, 第二个阶段, 再按group-by列聚合。
• 在map端用hash进行部分聚合, 减小reduce端数据处理规模。

五、平台优化

• hive on tez

• spark SQL(大趋势)