其他常用函数

一、空字段赋值
(1)函数说明
NVL:给值为NULL的数据赋值，它的格式是NVL(string,replace_with)。它的功能是如果string1为NULL,则NVL函数返回replace_with的值，否则返回string1的值，如果参数都为NULL，则返回NULL。eg,select nvl(comm,0) from emp;
(2)数据准备:采用员工表
(3)查询:如果员工的comm为NULL，则用-1代替
select nvl(comm,-1) from emp;
(4)查询:如果员工的comm为NULL，则用领导id代替
select nvl(comm,mgr) from emp;
二、时间类
(1)date_format:格式化时间
select date_format('2019-09-10','yyyy-MM-dd');
(2)data_add:时间跟天数相加
select date_add('2019-10-01',6);
select date_add('2019-10-01',-6);
(3)date_sub:时间跟天数相减
select date_sub('2019-10-01,5);
select date_sub('2019-10-01',-5);
替换函数:regexp _replace
eg:select regexp_replace('2019/10/10','/','-');
(4)datadiff时间相减
eg:select datediff('2019-04-02','2019-1-01');
三、CASE WHEN
1.数据准备
name dept_id sex
悟空 A 男
大海 A 男
宋宋 B 男
凤姐 A 女
婷姐 B 女
婷婷 B 女
2.需求
求出不同部门男女各多少人。结果如下:
A 2 1
B 1 2
3.创建本地emp_sex.txt，导入数据
4.创建hive表并导入数据
create table emp_sex(
name string,
dept_id string,
sex string)
row format delimited fields terminated by "\t"
load data local inpath '/xx/xx/xx' into table emp_sex;
5.按需求查询数据
select dept_id,
sum(case sex when '男' then 1 else 0 end) male_count,
sum(case sex when '女' then 1 else 0 end) female_count
from
emp_sex
group by dept_id;
如果只有两个分支，就用来做
select dept_id,
sum(if (sex='男',1,0)) male_count
sum(if (sex='女',1,0)) female_count
from
emp_sex
group by dept_id;

四、行转列
1.相关函数说明
CONCAT(string A/col,string B/col...):返回输入字符串连接后的结果，支持任意一个输入字符串；
CONCAT_WS(separator,str1,str2...)；它是一个特殊形式的CONCAT()。如果分隔符是NULL,返回值也将为NULL。这个函数会跳过分隔符参数后的任何NULL和空字符串。分隔符将被加到被连接的字符串之间；
COLLECT_SET(col):函数只接受基本数据类型，它的主要作用是将某字段的值进行去重汇总，产生array类型字段。
2.数据准备
name constellation blood_type
孙悟空 白羊座 A
大海 射手座 A
宋宋 白羊座 B
猪八戒 白羊座 A
凤姐 射手座 A
3.需求
把星座和血型一样的人归并到一起，结果如下:
射手座,A 大海|凤姐
白羊座,A 孙悟空|猪八戒
白羊座,B 宋宋
4.创建本地constellation.txt，导入数据
vim vim constellation.txt
5.建表
create table person_info(
name string,
constellation string,
blood_type string)
row format delimited fields terminated by '\t';
6.分析解决
第一步先得到
白羊座,A 孙悟空
射手座,A 大海
白羊座,B 宋宋
白羊座,A 猪八戒
射手座,A 凤姐
select concat(constellation,',',blood_type) constellation_blood_type,
name
from
person_info; t1
第二步对t1进行进一步查询
select
constellation_blood_type,
concat_ws('|',collect_set(name))
from (select
concat(constellation,',',blood_type) constellation_blood_type,
name
from
person_info)t1
group by
constellation_blood_type;
五、列转行
1.函数说明
EXPLODE(col):将hive一列中复杂的array或者map结构拆分成多行。
LATERAL VIEW
用法:LATERAL VIEW udtf(expression) tableAlias AS columnAlias
解释：用于和split,explode等UDTF一起使用，它能够将一列数据拆成多行数据，在此基础上可以对拆分的数据进行聚合。
2.数据准备
《疑犯追踪》 悬疑,动作,科幻,剧情
《Lie to me》 悬疑,警匪,动作,心理,剧情
《战狼2》 战争,动作,灾难
3.需求
将电影分类中的数组数据展开。结果如下
《疑犯追踪》 悬疑
《疑犯追踪》 动作
《疑犯追踪》 科幻
《疑犯追踪》 剧情
《Lie to me》 悬疑
《Lie to me》 警匪
《Lie to me》 动作
《Lie to me》 心理
《Lie to me》 剧情
《战狼2》 战争
《战狼2》 动作
《战狼2》 灾难

4 .创建本地movie.txt,导入数据
  vim movie_info.txt 
5.创建hive表并导入数据
  create table movie_info(

movie string,
category array)
row format delimited fields terminated by '\t'
collection items terminated by ",";

加载数据：
    load data local inpath '/xx/xx/xx' into table movie_info;
6.按需求查询数据
  select 
      movie,
       category_name
  from
  movie_info lateral view explode(category) table_tmp as category_name;

六、窗口函数
1.相关函数说明
OVER():指定分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变化而变化
CURRENT ROW:当前行
n PRECENDING:往前n行数据
n FOLLOWING:往后n行数据
UNBOUNDED:起点，UNBOUNDED PRECENDING 表示从前面的起点，UNBOUNDED FOLLOWING表示到后面的终点
LAG(col,n):往前第n行数据
LEAD(col,n):往后第n行数据
NTILE(col,n):把有序分区中的行分发到指定数据的组中，各个组有编号，编号从1开始，对于每一行，NTILE返回此行所属的组的编号。。注意:n必须为int型。
2.数据准备:name,orderdate,cost
jack,2019-01-01,10
tony,2019-01-02,15
jack,2017-02-03,23
tony,2019-01-04,29
jack,2019-01-05,46
jack,2019-04-06,42
mart,2019-04-08,62
neil.2019-05-10,75
mart,2019-02-15,60
neil,2019-06-24,20
mart,2019-04-24,94
3.需求
(1)查询在2019年4月份购买的顾客及总人数
select name,count(*) over()
from business
where substring(orderdate,1,7)='2019-04';
(2)查询顾客的购买明细及月购买总额
select *,sum(cost) over()
from business;

---

select *,sum(cost) over(distribute by orderdate)
from business;

---

select name,orderdate,cost,sum(cost) over(distribute by name)
from business;

---

select name,orderdate,cost,sum(cost) over(distribute by name sort by orderdate)
from business;
(3)上述的场景，要将cost按月日期进行累加
select orderdate,sum(cost) over(order by orderdate)
from business;
(4)查询顾客上次的购买时间
//查询上一次购买时间(跨行做操作的时候)
select
name,
orderdate,
cost,
lag(orderdate,1,'1970-01-01') over(distribute by name sort by orderdate)
from
business;

//查询下一次购买时间

select
name,
orderdate,
cost,
lead(orderdate,1,'9999-99-99') over(distribute by name sort by orderdate)
from
business;
(5)查询前20%时间的订单信息
第一步：
select
name,
orderdate,
cost,
ntile(5) over()
from
business;

---

第二步
select name,orderdate,cost
from ()t1
where ntile_5=1;

---

最终结果:
select
name,
orderdate,
cost
from
(select name,
orderdate,
cost,
ntile(5) over(order by orderdate) ntile_5
from
business)t1
where
ntile_5=1;
4.创建本地business.txt,导入数据
vim business.txt
5.创建hive表并导入数据
create table business(
name string,
orderdate string,
cost int)
row format delimited fields terminated by ',';
load data local inpath '/xx/xx/xx' into table business;
七、Rank
1.函数说明
RANK()排序相同时会重复，总数不变
DENSE_RANK()排序相同时会重复，总数会减少
ROW_NUMBER()会根据顺序计算
2.数据准备
孙悟空 语文 87
孙悟空 数学 95
孙悟空 英语 68
大海 语文 94
大海 数学 56
大海 英语 84
宋宋 语文 64
宋宋 数学 86
宋宋 英语 84
婷婷 语文 65
婷婷 数学 85
婷婷 英语 78
3.建表加载数据
create table score(
name string,
subject string,
score int)
row format delimited fields terminated by '\t';
load data local inpath '/xx/xx/xx' into table score;
4.查询(案例)
select
name,
subject,
score,
rank() over(partition by subject order by score desc) rank1,
dense_rank() over(partition by subject order by score desc) rank2,
row_number() over(partition by subject order by score desc) rank3
from
score;