hive 优化-1

• join优化-数据倾斜

  • hive.optimize.skewjoin=true; 【TODO 细节】

  • • 数据倾斜时启动两个job进行join 然后再做union

  • set hive.skewjoin.key=100000;

  • • 启动skewjoin的key的阈值

• map join

  • set hive.auto.convert.join = true;

  • hive.mapjoin.smalltable.filesize 默认25mb

    • 建议可以设置小点 避免过多的map join 导致对内存占用率太高（每个进程都需要维护一份备份）

  • select /*+ mapjoin(A) */ a.a,a.b form A a join B b on a.id=b.id

    • A为小表

  • Tips：

    • 存在小表
    • 需要做不等值join

• bucket join

  • 表按照join的字段做cluster by ，且bucket 数存在倍数关系

    • create table A (id int, price string) cluster by(id) into 32 buckets
    • create table B (id int, amount string) cluster by(id) into 32 buckets
    • select id,price,amount from A a join B b on a.id=b.id

• filter 下推（人肉，hive不会自动进行优化）

  • select id,price,amount from A a join B b on a.id=b.id where id>1000 #优化前
  • select id,price,amount from (select * from A where id > 1000 ) a join (select * from A where id > 1000 ) b on a.id=b.id #优化后

• count(distinct id) 优化

  • select count(distinct id) from A #此处count只会启动一个reduce，但是该reduce需要完成distince id的计算

  • select count(1) from (select distince id from A) # 此处会启动两个mr job 第一个job 并行计算distice id ，第二个启动一个reduce计算count

    • set mapred.reduce.task=n # n>1

  • select count(1) from (select id from A group by id) # 此处会启动两个mr job 第一个job 并行计算group by id ，第二个启动一个reduce计算count

    • set mapred.reduce.task=n # n>1