Hive 优化--SQL执行顺序、Hive参数、数据倾斜 、小文件优化

优化整体思路

1. 如果资源充足就加资源加内存，
2. 调度链路优化，调整调度顺序，时效性要求高的模型先产出，
3. 数据接入模块，调优数据接入工具sqoop，datax
4. 模型设计质量不高，调整模型，提高质量和复用度，尽可能减少join
5. hive参数调优
6. sql调优，数据倾斜，join原则

模型优化

存储类型：parquet

压缩类型：Snappy

分区：PARTITIONED BY (DT String

模型设计：字段类型，字段冗余，主键等，历史表，拉链表

一、SQL执行顺序

代码写的顺序：om ( select distinct user_id

select ... from .a join b. on .. where.... group by... having... order by.. 

msyql语句执行顺序 ：

from. join . on . where...group by... having.... select ... order by...

hive 语句