大数据高级开发工程师——Hive学习笔记（3）
文章目录
- Hive提高篇
-
- Hive的使用
-
- Hive的常用函数
-
- 1. 系统内置函数
- 2. 数值计算
-
- 取整函数: round
- 向下取整函数: floor
- 向上取整函数: ceil
- 向上取整函数: ceiling
- 取随机数函数: rand
- 3. 日期函数
-
- UNIX时间戳转日期函数: from_unixtime
- 日期转UNIX时间戳函数: unix_timestamp
- 日期时间转日期函数: to_date
- 日期转年函数: year
- 日期转月函数: month
- 日期转天函数: day
- 日期转小时函数: hour
- 日期转分钟函数: minute
- 日期转秒函数: second
- 日期转周函数: weekofyear
- 日期比较函数: datediff
- 日期增加函数: date_add
- 日期减少函数: date_sub
- 4. 条件函数（重点）
-
- If函数
- 非空查找函数: COALESCE
- 条件判断函数：CASE
- 5. 字符串函数
-
- 字符串长度函数：length
- 字符串反转函数：reverse
- 字符串连接函数：concat
- 字符串连接并指定字符串分隔符：concat_ws
- 字符串截取函数：substr、substring
- 字符串转大写函数：upper, ucase
- 字符串转小写函数：lower, lcase
- 去空格函数：trim
- url解析函数: parse_url
- json解析: get_json_object
- 重复字符串函数：repeat
- 分割字符串函数: split
- 6. 集合统计函数
-
- 个数统计函数: count
- 总和统计函数: sum
- 平均值统计函数: avg
- 最小值统计函数: min
- 最大值统计函数: max
- 7. 复合类型构建函数
-
- Map类型构建: map
- Struct类型构建: struct
- Array类型构建: array
- 8. 复杂类型长度统计函数
-
- Map类型长度函数: size(Map
Hive提高篇
Hive的使用
Hive的常用函数
1. 系统内置函数
-- 查看系统自带的函数
hive> show functions;
-- 显示自带的函数的用法
hive> desc function upper;
-- 详细显示自带的函数的用法
hive> desc function extended upper;
2. 数值计算
取整函数: round
- 基本语法
round(double a)，返回值 BIGINT，返回 double 类型的整数值部分（四舍五入）
hive> select round(3.1415926);
3
hive> select round(3.5);
4
- 指定精度取整
round(double a, int d)，返回指定精度的 double 类型
hive> select round(3.1415926, 4);
3.1416
向下取整函数: floor
- 语法
floor(double a)，返回等于或者小于该double变量的最大的整数
hive> select floor(3.1415926);
3
hive> select floor(25);
25
向上取整函数: ceil
- 语法
ceil(double a)，返回等于或者大于该double变量的最小的整数
hive> select ceil(3.1415926);
4
hive> select ceil(46);
46
向上取整函数: ceiling
- 语法
ceiling(double a)，与ceil功能相同
hive> select ceiling(3.1415926);
4
hive> select ceiling(46);
46
取随机数函数: rand
- 语法
rand(), rand(int seed)，返回一个0到1范围内的随机数。如果指定种子seed，则会等到一个稳定的随机数序列
hive> select rand();
0.5577432776034763
hive> select rand();
0.6638336467363424
hive> select rand(100);
0.7220096548596434
hive> select rand(100);
0.7220096548596434
3. 日期函数
UNIX时间戳转日期函数: from_unixtime
- 语法
from_unixtime(bigint unixtime[, string format])，返回值 string，转化UNIX时间戳（从1970-01-01 00:00:00 UTC到指定时间的秒数）到当前时区的时间格式
hive> select from_unixtime(1323308943, 'yyyyMMdd');
20111208
日期转UNIX时间戳函数: unix_timestamp
- 基本语法
unix_timestamp()，返回值 bigint，获得当前时区的UNIX时间戳。
-- 获取当前 UNIX 时间戳
hive> select unix_timestamp();
1638971143
- 语法
unix_timestamp(string date)，返回值 bigint，转换格式为"yyyy-MM-dd HH:mm:ss"的日期到UNIX时间戳。
hive> select unix_timestamp('2021-12-07 13:01:03');
1638882063
- 语法
unix_timestamp(string date, string pattern)，转换pattern格式的日期到UNIX时间戳。
hive> select unix_timestamp('20211207 23:01:03','yyyyMMdd HH:mm:ss');
1638918063
日期时间转日期函数: to_date
- 语法
to_date(string datetime)，返回值 string，返回日期时间字段中的日期部分。
hive> select to_date('2021-12-08 10:03:01');
2021-12-08
日期转年函数: year
- 语法
year(string date)，返回值 int，返回日期中的年。
hive> select year('2021-12-08 10:03:01');
2021
日期转月函数: month
- 语法
month(string date)，返回值 int，返回日期中的月份。
hive> select month('2021-12-08 10:03:01');
12
日期转天函数: day
- 语法
day(string date)，返回值 int，返回日期中的天。
hive> select day('2021-12-08 10:03:01');
8
日期转小时函数: hour
- 语法
hour(string date)，返回值 int，返回日期中的小时。
hive> select hour('2021-12-08 10:03:01');
10
日期转分钟函数: minute
- 语法
minute(string date)，返回值 int，返回日期中的分钟。
hive> select minute('2021-12-08 10:03:01');
3
日期转秒函数: second
- 语法
second(string date)，返回值 int，返回日期中的秒。
hive> select second('2021-12-08 10:03:01');
1
日期转周函数: weekofyear
- 语法
weekofyear (string date)，返回值 int，返回日期在当前的周数。
hive> select weekofyear('2021-12-08 10:03:01');
49
日期比较函数: datediff
datediff(string enddate, string startdate)，返回值 int，返回结束日期减去开始日期的天数。
hive> select datediff('2021-12-08','2021-05-09');
213
日期增加函数: date_add
- 语法
date_add(string startdate, int days)，返回值 string，返回开始日期startdate增加days天后的日期。
hive> select date_add('2021-12-08',10) ;
2021-12-18
日期减少函数: date_sub
- 语法
date_sub (string startdate, int days)，返回值 string，返回开始日期startdate减少days天后的日期。
hive> select date_sub('2021-12-18',10) ;
2021-12-08
4. 条件函数（重点）
If函数
- 语法
if(boolean testCondition, T valueTrue, T valueFalseOrNull)，当条件testCondition为TRUE时，返回valueTrue；否则返回valueFalseOrNull。
hive> select if(1=2,100,200);
200
hive> select if(1=1,100,200);
100
非空查找函数: COALESCE
- 语法
COALESCE(T v1, T v2, …)，返回参数中的第一个非空值；如果所有值都为NULL，那么返回NULL
hive> select COALESCE(null,'100','50') ;
100
条件判断函数：CASE
- 语法
CASE a WHEN b THEN c [WHEN d THEN e]* [ELSE f] END，如果a等于b，那么返回c；如果a等于d，那么返回e；否则返回f。
hive> select case 100 when 50 then 'tom' when 100 then 'mary' else 'tim' end;
mary
hive> select case 200 when 50 then 'tom' when 100 then 'mary' else 'tim' end;
tim
- 语法
CASE WHEN a THEN b [WHEN c THEN d]* [ELSE e] END，如果a为TRUE，则返回b；如果c为TRUE，则返回d；否则返回e。
hive> select case when 1=2 then 'tom' when 2=2 then 'mary' else 'tim' end;
mary
hive> select case when 1=1 then 'tom' when 2=2 then 'mary' else 'tim' end;
tom
5. 字符串函数
字符串长度函数：length
- 语法
length(string A)，返回值 int，返回字符串A的长度
hive> select length('abcedfg');
7
字符串反转函数：reverse
- 语法
reverse(string A)，返回值 string，返回字符串A的反转结果
hive> select reverse('abcdefg');
gfdecba
字符串连接函数：concat
- 语法
concat(string A, string B…)，返回值 string，返回输入字符串连接后的结果，支持任意个输入字符串
hive> select concat('abc','def','gh');
abcdefgh
字符串连接并指定字符串分隔符：concat_ws
- 语法
concat_ws(string SEP, string A, string B…)，返回值 string，返回输入字符串连接后的结果，SEP表示各个字符串间的分隔符。
hive> select concat_ws(',','abc','def','gh') ;
abc,def,gh
字符串截取函数：substr、substring
- 语法
substr(string A, int start), substring(string A, int start)，返回值 string，返回字符串A从start位置到结尾的字符串。
hive> select substr('abcdeere',3) ;
cdeere
hive> select substring('abcde',3);
cde
hive> select substr('abcde',-2);
de -- （负数从后往前）
- 语法
substr(string A, int start, int len),substring(string A, int start, int len)，返回值 string，返回字符串A从start位置开始，长度为len的字符串
hive> select substr('abcde',3,2);
cd
hive> select substring('abcde',3,2);
cd
hive> select substring('abcde',-3,2);
cd
字符串转大写函数：upper, ucase
- 语法
upper(string A) ucase(string A)，返回值 string，返回字符串A的大写格式。
hive> select upper('abSEd');
ABSED
hive> select ucase('abSEd');
ABSED
字符串转小写函数：lower, lcase
- 语法
lower(string A) lcase(string A)，返回值 string，返回字符串A的小写格式。
hive> select lower('abSEd') ;
absed
hive> select lcase('abSEd');
absed
去空格函数：trim
- 语法
trim(string A)，返回值 string，去除字符串两边的空格
hive> select trim(' ab c ');
ab c
url解析函数: parse_url
- 语法
parse_url(string urlString, string partToExtract [, string keyToExtract])，返回值 string，返回URL中指定的部分。partToExtract的有效值为: HOST、PATH、QUERY、REF、PROTOCOL、AUTHORITY、FILE、and USERINFO
hive> select parse_url('https://www.tableName.com/path1/p.php?k1=v1&k2=v2#Ref1', 'HOST');
www.tableName.com
hive> select parse_url('https://www.tableName.com/path1/p.php?k1=v1&k2=v2#Ref1', 'QUERY', 'k1');
v1
json解析: get_json_object
- 语法
get_json_object(string json_string, string path)，返回值 string，解析json的字符串json_string，返回path指定的内容。如果输入的json字符串无效，那么返回NULL。
hive> select get_json_object('{"store":{"fruit":\[{"weight":8,"type":"apple"},{"weight":9,"type":"pear"}], "bicycle":{"price":19.95,"color":"red"} },"email":"amy@only_for_json_udf_test.net","owner":"amy"}','$.owner');
amy
重复字符串函数：repeat
- 语法
repeat(string str, int n)，返回值 string，返回重复n次后的str字符串。
hive> select repeat('abc', 5);
abcabcabcabcabc
分割字符串函数: split
- 语法
split(string str, string pat)，返回值 array，按照pat字符串分割str，会返回分割后的字符串数组。
hive> select split('abtcdtef','t');
["ab","cd","ef"]
6. 集合统计函数
个数统计函数: count
- 语法
count(*), count(expr), count(DISTINCT expr[, expr_.])，返回值 Int- count(*)统计检索出的行的个数，包括NULL值的行；
- count(expr)返回指定字段的非空值的个数；
- count(DISTINCT expr[, expr_.]) 返回指定字段的不同的非空值的个数
hive> select count(*) from tableName;
21
hive> select count(distinct name) from tableName;
11
总和统计函数: sum
- 语法
sum(col), sum(DISTINCT col)，返回值 double- sum(col)统计结果集中col的相加的结果；
- sum(DISTINCT col)统计结果中col不同值相加的结果
hive> select sum(t) from tableName;
100
hive> select sum(distinct t) from tableName;
70
平均值统计函数: avg
- 语法
avg(col), avg(DISTINCT col)，返回值 double- avg(col)统计结果集中col的平均值；
- avg(DISTINCT col)统计结果中col不同值相加的平均值
hive> select avg(t) from tableName;
50
hive> select avg (distinct t) from tableName;
30
最小值统计函数: min
- 语法
min(col)，返回值 double，统计结果集中col字段的最小值
hive> select min(t) from tableName;
20
最大值统计函数: max
- 语法
max(col)，返回值 double，统计结果集中col字段的最大值
hive> select max(t) from tableName;
120
7. 复合类型构建函数
Map类型构建: map
- 语法
map (key1, value1, key2, value2, …)，根据输入的 k-v 对构建map类型 - 数据文件 score_map.txt
zhangsan sx:80,yw:89,zz:95
lisi sx:60,yw:80,zz:99
-- 建表
create table score_map(name string, score map<string, int>)
row format delimited fields terminated by '\t'
collection items terminated by ','
map keys terminated by ':';
-- 加载数据到hive表当中去
load data local inpath '/bigdata/install/hivedatas/score_map.txt' overwrite into table score_map;
-- map结构数据访问：
-- 获取所有的value：
select name, map_values(score) from score_map;
-- 获取所有的key：
select name, map_keys(score) from score_map;
-- 按照key来进行获取value值
select name, score["sx"] from score_map;
-- 查看map元素个数
select name, size(score) from score_map;
-- 构建一个map
select map(1, 'zs', 2, 'lisi');
Struct类型构建: struct
- 语法
struct(val1, val2, val3, …)，根据输入的参数构建结构体struct类型，似于C语言中的结构体，内部数据通过X.X来获取，假设数据格式是这样的：电影ABC，有1254人评价过，打分为7.4分。 - 数据文件 struct.txt
ABC 1254:7.4
DEF 256:4.9
XYZ 456:5.4
-- 创建struct表
hive> create table movie_score(name string, info struct<number:int,score:float>)
row format delimited fields terminated by "\t"
collection items terminated by ":";
-- 加载数据
load data local inpath '/bigdata/install/hivedatas/struct.txt' overwrite into table movie_score;
-- 查询数据
hive> select * from movie_score;
hive> select name, info.number, info.score from movie_score;
OK
name number score
ABC 1254 7.4
DEF 256 4.9
XYZ 456 5.4
-- 构建一个struct
hive> select struct(1, 'anzhulababy', 'moon', 1.68);
OK
_c0
{"col1":1,"col2":"anzhulababy","col3":"moon","col4":1.68}
Array类型构建: array
- 语法
array(val1, val2, …)，根据输入的参数构建数组array类型。 - 数据文件 person.txt
biansutao beijing,shanghai,tianjin,hangzhou
linan changchun,chengdu,wuhan
hive> create table person(name string, work_locations array<string>)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
COLLECTION ITEMS TERMINATED BY ',';
-- 加载数据
hive > load data local inpath '/bigdata/install/hivedatas/person.txt' overwrite into table person;
-- 查询所有数据数据
hive > select * from person;
OK
person.name person.work_locations
biansutao ["beijing","shanghai","tianjin","hangzhou"]
linan ["changchun","chengdu","wuhan"]
-- 按照下标索引进行查询
hive > select work_locations[0] from person;
OK
_c0
beijing
changchun
-- 查询所有集合数据
hive > select work_locations from person;
OK
work_locations
["beijing","shanghai","tianjin","hangzhou"]
["changchun","chengdu","wuhan"]
-- 查询元素个数
hive > select size(work_locations) from person;
OK
_c0
4
3
-- 构建array
select array(1, 2, 1);
select array(1, 'a', 1.0);
select array(1, 2, 1.0);
8. 复杂类型长度统计函数
Map类型长度函数: size(Map)
- 语法
size(Map，返回值 int，返回map类型的长度)
hive> select size(map(1, 'zs', 2, 'anzhulababy'));
2
array类型长度函数: size(Array)
- 语法
size(Array，返回值 int，返回array类型的长度)
hive> select size(t) from tableName;
4
类型转换函数: cast
- 语法
cast(expr as，返回值 Expected “=” to follow “type”，返回转换后的数据类型。)
hive> select cast('1' as bigint);
1
9. 行转列
相关函数说明
CONCAT(string A/col, string B/col…)：返回输入字符串连接后的结果，支持任意个输入字符串;CONCAT_WS(separator, str1, str2,...)：它是一个特殊形式的 CONCAT()。- 第一个参数剩余参数间的分隔符。分隔符可以是与剩余参数一样的字符串。如果分隔符是 NULL，返回值也将为 NULL。
- 这个函数会跳过分隔符参数后的任何 NULL 和空字符串。分隔符将被加到被连接的字符串之间;
COLLECT_SET(col)：函数只接受基本数据类型，它的主要作用是将某字段的值进行去重汇总，产生array类型字段。
数据准备
| name | constellation | blood_type |
|---|---|---|
| 孙悟空 | 白羊座 | A |
| 老王 | 射手座 | A |
| 宋宋 | 白羊座 | B |
| 猪八戒 | 白羊座 | A |
| 按住啦baby | 射手座 | A |
需求
- 把星座和血型一样的人归类到一起。结果如下：
射手座,A 老王|按住啦baby
白羊座,A 孙悟空|猪八戒
白羊座,B 宋宋
实现
- 数据文件 constellation.txt：
孙悟空 白羊座 A
老王 射手座 A
宋宋 白羊座 B
猪八戒 白羊座 A
凤姐 射手座 A
- 创建hive表并导入数据：
-- 创建表
hive > create table person_info(name string, constellation string, blood_type string) row format delimited fields terminated by "\t";
-- 加载数据
hive > load data local inpath '/bigdata/install/hivedatas/constellation.txt' into table person_info;
-- 按需求查询数据
hive > select t1.base, concat_ws('|', collect_set(t1.name)) name from (select name, concat(constellation, "," , blood_type) base from person_info) t1 group by t1.base;
10. 列转行
函数说明
EXPLODE(col)：将hive一列中复杂的 array 或者 map 结构拆分成多行。LATERAL VIEW- 用法：
LATERAL VIEW udtf(expression) tableAlias AS columnAlias - 解释：用于和 split、explode 等UDTF一起使用，它能够将一列数据拆成多行数据，在此基础上可以对拆分后的数据进行聚合。
- 用法：
数据准备
- 数据文件 movie.txt：
《疑犯追踪》 悬疑,动作,科幻,剧情
《Lie to me》 悬疑,警匪,动作,心理,剧情
《战狼2》 战争,动作,灾难
需求
- 将电影分类中的数组数据展开。结果如下：
《疑犯追踪》 悬疑
《疑犯追踪》 动作
《疑犯追踪》 科幻
《疑犯追踪》 剧情
《Lie to me》 悬疑
《Lie to me》 警匪
《Lie to me》 动作
《Lie to me》 心理
《Lie to me》 剧情
《战狼2》 战争
《战狼2》 动作
《战狼2》 灾难
创建hive表并导入数据
-- 创建hive表
hive > create table movie_info(movie string, category array<string>)
row format delimited fields terminated by "\t"
collection items terminated by ",";
-- 加载数据
hive > load data local inpath "/bigdata/install/hivedatas/movie.txt" into table movie_info;
-- 按需求查询数据
hive > select movie, category_name from movie_info lateral view explode(category) table_tmp as category_name;
十九. hive的企业级调优
Fetch抓取
- Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算
- 例如：
select * from score; - 在这种情况下，Hive可以简单地读取对应的存储目录下的文件，然后输出查询结果到控制台
- 例如：
- 在hive-default.xml.template文件中 hive.fetch.task.conversion默认是more，老版本hive默认是minimal，该属性修改为 more 以后，在全局查找、字段查找、limit查找等都不走mapreduce。
- 把 hive.fetch.task.conversion 设置成**none**，然后执行查询语句，都会执行mapreduce程序
set hive.fetch.task.conversion=none;
select * from score;
select s_id from score;
select s_id from score limit 3;
- 把hive.fetch.task.conversion 设置成==more==，然后执行查询语句，如下查询方式都不会执行mapreduce程序。
set hive.fetch.task.conversion=more;
select * from score;
select s_id from score;
select s_id from score limit 3;
本地模式
- 在Hive客户端测试时，默认情况下是启用hadoop的job模式，把任务提交到集群中运行，这样会导致计算非常缓慢；
- Hive可以通过本地模式在单台机器上处理任务。对于小数据集，执行时间可以明显被缩短。
- 开启本地模式
-- 开启本地模式，并执行查询语句；默认false
set hive.exec.mode.local.auto=true; // 开启本地mr
-- 设置local mr的最大输入数据量，当输入数据量小于这个值时采用local mr的方式，默认为134217728，即128M
set hive.exec.mode.local.auto.inputbytes.max=50000000;
-- 设置local mr的最大输入文件个数，当输入文件个数小于这个值时采用local mr的方式，
set hive.exec.mode.local.auto.input.files.max=5;
-- 执行查询的sql语句
select * from score;
-- 关闭本地运行模式
set hive.exec.mode.local.auto=false;
表的优化
1. 小表、大表 join
- 将key相对分散，并且数据量小的表放在join的左边，这样可以有效减少内存溢出错误发生的几率；再进一步，可以使用map join让小的维度表（1000条以下的记录条数）先进内存。在map端完成reduce。
- 实际测试发现：新版的hive已经对小表 join 大表和大表 join 小表进行了优化。小表放在左边和右边已经没有明显区别。
select * from table1 A
left join table2 B on A.id = B.id
left join table3 C on B.item_id = C.id
2. 大表 join 大表
空 key 过滤
- 有时join超时是因为某些key对应的数据太多，而相同key对应的数据都会发送到相同的reducer上，从而导致内存不够。
- 此时我们应该仔细分析这些异常的key，很多情况下，这些key对应的数据是异常数据，我们需要在SQL语句中进行过滤。
- 测试数据：
- hive_big_table
- hive_have_null_id
use myhive;
-- 创建表
create table ori(id bigint, time_statmp bigint, uid string, keyword string, url_rank int, click_num int, click_url string) row format delimited fields terminated by '\t';
create table nullidtable(id bigint, time_statmp bigint, uid string, keyword string, url_rank int, click_num int, click_url string) row format delimited fields terminated by '\t';
create table jointable(id bigint, time_statmp bigint, uid string, keyword string, url_rank int, click_num int, click_url string) row format delimited fields terminated by '\t';
-- 导入数据
load data local inpath '/bigdata/install/hivedatas/hive_big_table/*' into table ori;
load data local inpath '/bigdata/install/hivedatas/hive_have_null_id/*' into table nullidtable;
- 过滤空key与不过滤空key的结果比较
-- 不过滤：
INSERT OVERWRITE TABLE jointable SELECT a.* FROM nullidtable a JOIN ori b ON a.id = b.id;
-- 过滤：
INSERT OVERWRITE TABLE jointable SELECT a.* FROM (SELECT * FROM nullidtable WHERE id IS NOT NULL ) a JOIN ori b ON a.id = b.id;
空 key 转换
- 有时虽然某个 key 为空对应的数据很多，但是相应的数据不是异常数据，必须要包含在 join 的结果中，此时我们可以表 a 中 key 为空的字段赋一个随机的值，使得数据随机均匀地分不到不同的 reducer 上。
- 不随机分布：
-- 默认值256000000，即256m
set hive.exec.reducers.bytes.per.reducer=32123456;
set mapreduce.job.reduces=7;
INSERT OVERWRITE TABLE jointable SELECT a.* FROM nullidtable a LEFT JOIN ori b ON CASE WHEN a.id IS NULL THEN 'hive' ELSE a.id END = b.id;
No rows affected (119.142 seconds)
-- 结果：这样的后果就是所有为null值的id全部都变成了相同的字符串，及其容易造成数据的倾斜（所有的key相同，相同key的数据会到同一个reduce当中去）。
-- 为了解决这种情况，我们可以通过hive的rand函数，随记的给每一个为空的id赋上一个随机值，这样就不会造成数据倾斜。
- 随机分布：
set hive.exec.reducers.bytes.per.reducer=32123456;
set mapreduce.job.reduces=7;
INSERT OVERWRITE TABLE jointable SELECT a.* FROM nullidtable a LEFT JOIN ori b ON CASE WHEN a.id IS NULL THEN concat('hive', rand()) ELSE a.id END = b.id;
No rows affected (119.67 seconds)
3. map join
- 大表join小表与小表join大表实测
- 测试数据： big_data small_data.tar.gz
- 需求：测试大表JOIN小表和小表JOIN大表的效率 （新的版本当中已经没有区别了，旧的版本当中需要使用小表）
-- 建大表、小表和JOIN后表的语句
create table bigtable(id bigint, time_statmp bigint, uid string, keyword string, url_rank int, click_num int, click_url string) row format delimited fields terminated by '\t';
create table smalltable(id bigint, time_statmp bigint, uid string, keyword string, url_rank int, click_num int, click_url string) row format delimited fields terminated by '\t';
create table jointable2(id bigint, time_statmp bigint, uid string, keyword string, url_rank int, click_num int, click_url string) row format delimited fields terminated by '\t';
-- 分别向大表和小表中导入数据
load data local inpath '/bigdata/install/hivedatas/big_data' into table bigtable;
load data local inpath '/bidata/install/hivedatas/small_data' into table smalltable;
- 如果不指定MapJoin 或者不符合 MapJoin的条件，那么Hive解析器会将Join操作转换成Common Join，即：在Reduce阶段完成join。容易发生数据倾斜。可以用 MapJoin 把小表全部加载到内存，在map端进行join，避免reducer处理。
-- 开启MapJoin参数设置, 默认为true
set hive.auto.convert.join = true;
-- 大表小表的阈值设置（默认 25M 以下认为是小表）
set hive.mapjoin.smalltable.filesize=26214400;
- MapJoin工作机制
- 首先是Task A，它是一个Local Task（在客户端本地执行的Task），负责扫描小表b的数据，将其转换成一个HashTable的数据结构，并写入本地的文件中，之后将该文件加载到DistributeCache中。
- 接下来是Task B，该任务是一个没有Reduce的MR，启动MapTasks扫描大表a，在Map阶段，根据a的每一条记录去和DistributeCache中b表对应的HashTable关联，并直接输出结果。
- 由于MapJoin没有Reduce，所以由Map直接输出结果文件，有多少个Map Task，就有多少个结果文件。
-- 开启Mapjoin功能
-- 是否允许hive自动对普通join进行优化；如果join中的一个表小于小表的阈值，join被转换成map join；默认为true
set hive.auto.convert.join = true;
-- 执行小表JOIN大表语句
INSERT OVERWRITE TABLE jointable2
SELECT b.id, b.time_statmp, b.uid, b.keyword, b.url_rank, b.click_num, b.click_url FROM smalltable s JOIN bigtable b ON s.id = b.id;
-- 执行大表JOIN小表语句
INSERT OVERWRITE TABLE jointable2
SELECT b.id, b.time_statmp, b.uid, b.keyword, b.url_rank, b.click_num, b.click_url FROM bigtable b JOIN smalltable s ON s.id = b.id;
4. group By
- 默认情况下，Map阶段同一Key数据分发给一个reduce，当一个key数据过大时就倾斜了。
- 并不是所有的聚合操作都需要在 Reduce 端完成，很多聚合操作都可以先在 Map 端进行部分聚合，最后在Reduce端得出最终结果。
- 开启Map端聚合参数设置
-- 是否在Map端进行聚合，默认为True
set hive.map.aggr = true;
--在 Map端进行聚合操作的条目数目；默认100000
set hive.groupby.mapaggr.checkinterval = 100000;
-- 有数据倾斜的时候进行负载均衡（默认是false）
set hive.groupby.skewindata = true;
-- 当选项设定为 true，生成的查询计划会有两个MR Job。第一个MR Job中，Map的输出结果会随机分布到Reduce中，每个Reduce做部分聚合操作，并输出结果，这样处理的结果是相同的Group By Key有可能被分发到不同的Reduce中，从而达到负载均衡的目的；第二个MR Job再根据预处理的数据结果按照Group By Key分布到Reduce中（这个过程可以保证相同的Group By Key被分布到同一个Reduce中），最后完成最终的聚合操作。
5. count(distinct)
- 数据量小的时候无所谓，数据量大的情况下，由于count distinct 操作需要用一个reduce Task来完成，这一个Reduce需要处理的数据量太大，就会导致整个Job很难完成，一般count distinct使用先group by 再count的方式替换
create table bigtable(id bigint, time_statmp bigint, uid string, keyword string, url_rank int, click_num int, click_url string) row format delimited fields terminated by '\t';
load data local inpath '/bigdata/install/hivedatas/data/100万条大表数据（id除以10取整）/bigtable' into table bigtable;
--每个reduce任务处理的数据量 默认256000000（256M）
set hive.exec.reducers.bytes.per.reducer=321234560000;
select count(distinct ip ) from log_text;
Error: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask (state=08S01,code=2)
-- 转换成
set hive.exec.reducers.bytes.per.reducer=32123456;
select count(ip) from (select ip from log_text group by ip) t;
-- 虽然会多用一个Job来完成，但在数据量大的情况下，这个绝对是值得的。
6. 笛卡尔积
- 尽量避免笛卡尔积，即避免join的时候不加on条件，或者无效的on条件
- Hive只能使用1个reducer来完成笛卡尔积。
使用分区剪裁、列剪裁
- 尽可能早地过滤掉尽可能多的数据量，避免大量数据流入外层SQL。
- 列剪裁
- 只获取需要的列的数据，减少数据输入。
- 少用select *
- 分区裁剪
- 分区在hive实质上是目录，分区裁剪可以方便直接地过滤掉大部分数据。
- 尽量使用分区过滤
并行执行
- 把一个sql语句中没有相互依赖的阶段并行去运行。提高集群资源利用率
-- 示例SQL
select A.col1, B.col2 from
(select count(*) as col1 from table1) as A,
(select count(*) as col2 from table2) as B;
- 参数设置
-- 开启并行执行；默认false
set hive.exec.parallel=true;
-- 同一个sql允许最大并行度，默认为8。
set hive.exec.parallel.thread.number=16;
严格模式
- Hive提供了一个严格模式，可以防止用户执行那些可能意想不到的不好的影响的查询。
- 通过设置属性hive.mapred.mode值为默认是非严格模式nonstrict 。开启严格模式需要修改hive.mapred.mode值为strict，开启严格模式可以禁止3种类型的查询。
-- 设置非严格模式（默认nonstrict）
set hive.mapred.mode=nonstrict;
-- 设置严格模式
set hive.mapred.mode=strict;
- 对于分区表，除非where语句中含有分区字段过滤条件来限制范围，否则不允许执行
-- 设置严格模式下 执行sql语句报错； 非严格模式下是可以的
select * from score; -- score是个分区表
-- 异常信息：FAILED: SemanticException [Error 10056]: Queries against partitioned tables without a partition filter are disabled for safety reasons.
-- 正确的是：
select * from score where month='201806';
- 对于使用了order by语句的查询，要求必须使用limit语句
-- 设置严格模式下 执行sql语句报错； 非严格模式下是可以的
select * from score where month='201806' order by s_score;
-- FAILED: SemanticException 1:50 Order by-s without limit are disabled for safety reasons.
-- 正确的是：
select * from score where month='201806' order by s_score limit 3;
- 限制笛卡尔积的查询：严格模式下，避免出现笛卡尔积的查询
JVM重用
- JVM重用是Hadoop调优参数的内容，其对Hive的性能具有非常大的影响，特别是对于很难避免小文件的场景或task特别多的场景，这类场景大多数执行时间都很短。
- Hadoop的默认配置通常是使用派生JVM来执行map和Reduce任务的。这时JVM的启动过程可能会造成相当大的开销，尤其是执行的job包含有成百上千task任务的情况。JVM重用可以使得JVM实例在同一个job中重新使用N次。N的值可以在Hadoop的mapred-site.xml文件中进行配置。通常在10-20之间，具体多少需要根据具体业务场景测试得出。
<property>
<name>mapreduce.job.jvm.numtasksname>
<value>10value>
<description>How many tasks to run per jvm. If set to -1, there is no limit.
description>
property>
- 我们也可以在hive当中通过
set mapred.job.reuse.jvm.num.tasks=10;这个设置来设置我们的jvm重用。 - 这个功能的缺点是，开启JVM重用将一直占用使用到的task插槽，以便进行重用，直到任务完成后才能释放。如果某个“不平衡的”job中有某几个reduce task执行的时间要比其他Reduce task消耗的时间多的多的话，那么保留的插槽就会一直空闲着却无法被其他的job使用，直到所有的task都结束了才会释放。
推测执行
- 在分布式集群环境下，因为程序Bug（包括Hadoop本身的bug），负载不均衡或者资源分布不均等原因，会造成同一个作业的多个任务之间运行速度不一致，有些任务的运行速度可能明显慢于其他任务（比如一个作业的某个任务进度只有50%，而其他所有任务已经运行完毕），则这些任务会拖慢作业的整体执行进度。
- 为了避免这种情况发生，Hadoop采用了推测执行（Speculative Execution）机制，它根据一定的法则推测出“拖后腿”的任务，并为这样的任务启动一个备份任务，让该任务与原始任务同时处理同一份数据，并最终选用最先成功运行完成任务的计算结果作为最终结果。
- 设置开启推测执行参数：Hadoop的mapred-site.xml文件中进行配置
<property>
<name>mapreduce.map.speculative</name>
<value>true</value>
<description>If true, then multiple instances of some map tasks
may be executed in parallel.</description>
</property>
<property>
<name>mapreduce.reduce.speculative</name>
<value>true</value>
<description>If true, then multiple instances of some reduce tasks
may be executed in parallel.</description>
</property>
- 不过hive本身也提供了配置项来控制reduce-side的推测执行：
<property>
<name>hive.mapred.reduce.tasks.speculative.executionname>
<value>truevalue>
<description>Whether speculative execution for reducers should be turned on. description>
property>
- 关于调优这些推测执行变量，还很难给一个具体的建议。如果用户对于运行时的偏差非常敏感的话，那么可以将这些功能关闭掉。如果用户因为输入数据量很大而需要执行长时间的map或者Reduce task的话，那么启动推测执行造成的浪费是非常巨大大。
压缩
- 参见数据的压缩
- Hive表中间数据压缩：
# 设置为true为激活中间数据压缩功能，默认是false，没有开启
set hive.exec.compress.intermediate=true;
# 开启mapreduce中map输出压缩功能；默认false
set mapreduce.map.output.compress=true;
# 设置中间数据的压缩算法
set mapred.map.output.compression.codec= org.apache.hadoop.io.compress.SnappyCodec;
- Hive表最终输出结果压缩
set hive.exec.compress.output=true;
set mapred.output.compression.codec= org.apache.hadoop.io.compress.SnappyCodec;
使用EXPLAIN（执行计划）
- 查看hql执行计划：
explain select * from score where month='201806';
数据倾斜
1. 合理设置Map数
- 通常情况下，作业会通过input的目录产生一个或者多个map任务。
- 主要的决定因素有：input的文件总个数，input的文件大小，集群设置的文件块大小。
- 举例：
- 假设input目录下有1个文件a，大小为780M，那么hadoop会将该文件a分隔成7个块（6个128m的块和1个12m的块），从而产生7个map数。
- 假设input目录下有3个文件a，b，c大小分别为10m，20m，150m，那么hadoop会分隔成4个块（10m，20m，128m，22m），从而产生4个map数。即，如果文件大于块大小(128m)，那么会拆分，如果小于块大小，则把该文件当成一个块。
是不是map数越多越好？
- 答案是否定的。如果一个任务有很多小文件（远远小于块大小128m），则每个小文件也会被当做一个块，用一个map任务来完成，而一个map任务启动和初始化的时间远远大于逻辑处理的时间，就会造成很大的资源浪费。而且，同时可执行的map数是受限的。
是不是保证每个map处理接近128m的文件块，就高枕无忧了？
- 答案也是不一定。比如有一个127m的文件，正常会用一个map去完成，但这个文件只有一个或者两个小字段，却有几千万的记录，如果map处理的逻辑比较复杂，用一个map任务去做，肯定也比较耗时。
- 针对上面的问题2和3，我们需要采取两种方式来解决：即减少map数和增加map数。
2. 小文件合并
- 在map执行前合并小文件，减少map数：CombineHiveInputFormat 具有对小文件进行合并的功能（系统默认的格式）
set mapred.max.split.size=112345600;
set mapred.min.split.size.per.node=112345600;
set mapred.min.split.size.per.rack=112345600;
set hive.input.format= org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
- 这个参数表示执行前进行小文件合并，前面三个参数确定合并文件块的大小，大于文件块大小128m的，按照128m来分隔，小于128m，大于100m的，按照100m来分隔，把那些小于100m的（包括小文件和分隔大文件剩下的），进行合并。
3. 复杂文件增加Map数
- 当input的文件都很大，任务逻辑复杂，map执行非常慢的时候，可以考虑增加Map数，来使得每个map处理的数据量减少，从而提高任务的执行效率。
- 增加map的方法为：根据 ==computeSliteSize(Math.max(minSize,Math.min(maxSize,blocksize)))==公式，调整maxSize最大值，让maxSize最大值低于blocksize就可以增加map的个数。
mapreduce.input.fileinputformat.split.minsize=1 默认值为1
mapreduce.input.fileinputformat.split.maxsize=Long.MAXValue 默认值Long.MAXValue因此，默认情况下，切片大小=blocksize
maxsize（切片最大值): 参数如果调到比blocksize小，则会让切片变小，而且就等于配置的这个参数的值。
minsize(切片最小值): 参数调的比blockSize大，则可以让切片变得比blocksize还大。
- 例如：
--设置maxsize大小为10M，也就是说一个fileSplit的大小为10M
set mapreduce.input.fileinputformat.split.maxsize=10485760;
4. 合理设置Reduce数
- 调整reduce个数方法一：每个Reduce处理的数据量默认是256MB
set hive.exec.reducers.bytes.per.reducer=256000000;
- 每个任务最大的reduce数，默认为1009
set hive.exec.reducers.max=1009;
-
计算reducer数的公式：
N=min(参数2，总输入数据量/参数1) -
调整reduce个数方法二
--设置每一个job中reduce个数
set mapreduce.job.reduces=3;
- reduce个数并不是越多越好
- 过多的启动和初始化reduce也会消耗时间和资源；
- 同时过多的reduce会生成很多个文件，也有可能出现小文件问题