Hive优化

  1. 分区,分桶避免全局扫描
  2. 列式存储,加快计算速度
  3. 采用压缩,减少磁盘IO
  4. 谓词下推,行列过滤(select *),列剪裁,CBO优化(对于计算成本的优化,比如join的顺序)
  5. 开启map-side 针对groupby,数据量大的可以提前预聚合
  6. 开启map-join   大表join小表场景 
  7. 开启分桶join  SMB 
    1. 两张表必须是分桶表
    2. 分桶数量必须整数倍
    3. 分桶字段必须是关联字段
  8. 开启skew-join,如果检测到有key比较多的,那么单独开启一个mapjoin去计算,其他正常的使用common join
  9. 更换引擎 MR更换spark  或者tez

你可能感兴趣的:(Hive,hive,hadoop,数据仓库)