数据分析-Hive学习 Day4
目标：
1、掌握hive基础语法、常用函数及其组合使用
2、掌握一些基本业务指标的分析思路与实现技巧
一、基础语法
1、SELECT ... A... FORM ...B... WHERE ...C...
1）某次经营活动中，商家发起了“异性拼团购”，试着针对某个地区的用户进行推广，找出匹配用户。
"选出城市在北京，性别位女的10个用户名"
select user_name
from user_info
where city='beijing' and sex='female'
limit 10;
注意：如果该表是一个分区表，则where条件中必须对分区字段进行限制
2）选出在2018年12月31日，购买的商品品类是food的用户名、购买数量、支付金额
select user_name
,piece
,pay_amount
from user_trade
where dt='2018-12-31' and goods_category='food';
2、GROUP BY（分类汇总）
3）试着对本公司2019年第一季度商品的热度与价值度进行分析。
"2019年一月到三月，每个品类有多少人购买，累计金额是多少"
SELECT goods_category
,count(user_name) as user_num
,sum(pay_amount) as total_amount
from user_trade
WHERE dt between '2019-01-01' and '2019-03-31'
group by goods_category
常用的聚会函数：
1、count():计数 count(distinct...)去重计数
2、sum():求和
3、avg():平均值
4、max():最大值
5、min():最小值
GROUP BY ... HAVING（分类汇总过滤）
4）找出在2019年4月支付金额超过5万元的用户，给这些VIP用户赠送优惠券
SELECT user_name,sum(pay_amount) as total_amount
from user_trade
WHERE dt between '2019-04-01' and '2019-04-30'
group by user_name
HAVING sum(pay_amount)>50000;
3、ORDER BY(排序)
5）2019年4月，支付金额最多的TOP5用户
SELECT user_name,sum(pay_amount) as total_amount
from user_trade
WHERE dt between '2019-04-01' and '2019-04-30'
group by user_name
order by total_amount desc
limit 5;
（由于执行顺序的原因，ORDER BY 后面要使用重新定义的列名进行排序，具体执行顺序参考MySQL）
ASC：升序（默认） DESC：降序
对多个字段进行排序：ORDER BY A ASC, B DESC，每个字段都要指定升序或者降序
二、常用函数
查看Hive中的函数：show functions；
查看具体函数的用法：1）desc function 函数名；2）desc function extended函数名；
1、如何把时间戳转化为日期（from_unixtime）？
6）
SELECT pay_time,
from_unixtime(pay_time,'yyyy-MM-dd hh:mm:ss')
from user_trade
WHERE dt='2019-04-09'
from_unixtime(bigint unixtime,string format):将时间戳转化为指定格式的日期
format：
1.yyyy-MM-dd hh:mm:ss
2.yyyy-MM-dd hh
3.yyyy-MM-dd hh:mm
4.yyyyMMdd
拓展：把日期转化为时间戳：unix——timestamp(string date)
2、如何计算日期间隔？（datediff 函数）
7）用户的首次激活时间，与2019年5月1日的日期间隔。
SELECT user_name
,datediff('2019-05-01',to_date(firstactivetime))
from user_info
limit 10;
datediff(string enddate,string startdate):结束日期减去开始日期的天数
拓展:日期增加函数（增加天数）、减少函数（减少天数） —— date_add、date_sub（类型要是string类型的）
date_add（string startdate,int days)、date_sub（string startdate,int days)
3、条件函数（case when 和 if 函数）
case when 函数
8）统计以下四个年龄段20岁以下、20-30岁、30-40岁、40岁以上的用户数
SELECT
case
when age<20 then '20岁以下'
when age<30 then '20-30岁'
when age<40 then '30-40岁'
else '40岁以上' end as age_type,
count(distinct user_id) as user_num
from user_info
group by ( case
when age<20 then '20岁以下'
when age<30 then '20-30岁'
when age<40 then '30-40岁'
else '40岁以上' end )
case when 的时候不用加group by，只有在聚合函数的时候才需要group by
if 函数
9）统计每个性别的用户等级高低分布情况（假设level大于5为高级，注意列名不能使用中文的）
SELECT sex,
if(level>5,'高级','低级') as level_type,
count(distinct user_id) as user_num
from user_info
group by sex,
if(level>5,'高级','低级');
4、字符串函数（substr 和 substring 函数）
10）分析每个月都拉新情况
select substring(firstactivetime,1,7) as month
,count(distinct user_id) as user_num
from user_info
group by substring(firstactivetime,1,7);
substring(stringA,INT start,int len),substr(stringA,INT start,int len)，截取起始位置和截取长度
json文本格式解析函数
extra1需要解析json字段，然后用$.key取出想要获取的value;
extra2使用的是中括号加引号的方式进行字段提取和分组；
两种写法要看字段类型的不同采取不同的方式
11）求不同手机品牌的用户数
extra1(string):
{"systemtype":"ios","education":"master","marriage_status":"1","phonebrand":"iphoneX"}
extra2(map):
{"systemtype":"ios","education":"master","marriage_status":"1","phonebrand":"iphone X"}
第一种情况：
select get_json_object(extra1,'$.phonebrand') as phone_brand
,count(distinct user_id) as user_num
from user_info
group by get_json_object(extra1,'$.phonebrand');
第二种情况：
select extra2["phonebrand"] as phone_brand
,count(distinct user_id) as user_num
from user_info
group by extra2["phonebrand"];
extra1需要解析json字段，然后用$.key取出想要获取的value;
extra2使用的是中括号加引号的方式进行字段提取和分组；
两种写法要看字段类型的不同采取不同的方式
5、聚合统计函数
12）ELLA用户的2018年的平均每次支付金额，以及2018年最大的支付日期和最小的支付日期的间隔
SELECT AVG(pay_amount),
max(from_unixtime(pay_time,'yyyy-MM-dd')),
min(from_unixtime(pay_time,'yyyy-MM-dd')),
datediff(max(from_unixtime(pay_time,'yyyy-MM-dd')), min(from_unixtime(pay_time,'yyyy-MM-dd')))
from user_trade
WHERE substr(dt,1,4)='2018' and user_name='ELLA'
#如果要使用user_name，则要多加group by进行分组，having后用不了本题的限制条件
SELECT user_name,
AVG(pay_amount),
max(from_unixtime(pay_time,'yyyy-MM-dd')),
min(from_unixtime(pay_time,'yyyy-MM-dd'))
from user_trade
WHERE substr(dt,1,4)='2018'
GROUP BY user_name
三、重点练习
13）2018年购买的商品品类在两个以上的用户数
步骤一：
SELECT user_name,count(distinct goods_category)
from user_trade
where substr(dt,1,4)='2018'
group by user_name
having count(distinct goods_category)>=2;
步骤二：
select count(a.user_name)
from
(SELECT user_name,count(distinct goods_category)
from user_trade
where substr(dt,1,4)='2018'
group by user_name
having count(distinct goods_category)>=2) as a
步骤总结：
1、先求出每个人购买的商品品类书
2、筛选出购买商品品类书大于2的用户
3、统计符合条件的用户有多少个
14）用户激活时间在2018年，年龄段在20-30岁和30-40岁的婚姻情况分布
错误方法（也能得出正确的结果，只是计算方式会比较慢）：
select b.age_type,count(distinct b.user_id),if(b.marriage_status=1,"已婚","未婚")
from
(select user_id
,user_name
,(case
when age<20 then "20岁以下"
when age>=20 and age<30 then "20-30岁"
when age>=30 and age<40 then "30-40岁"
else '40岁以上'
end) as age_type
,extra2["marriage_status"] as marriage_status
from user_info
where year(firstactivetime)='2018'
group by user_id
,user_name
,(case
when age<20 then "20岁以下"
when age>=20 and age<30 then "20-30岁"
when age>=30 and age<40 then "30-40岁"
else '40岁以上'
end)
,extra2["marriage_status"])as b
where age_type in ("20-30岁", "30-40岁")
group by b.age_type,if(b.marriage_status=1,"已婚","未婚")
正确方式：
select b.age_type,count(distinct b.user_id),if(b.marriage_status=1,"已婚","未婚")
from
(select user_id
,user_name
,(case
when age<20 then "20岁以下"
when age>=20 and age<30 then "20-30岁"
when age>=30 and age<40 then "30-40岁"
else '40岁以上'
end) as age_type
,extra2["marriage_status"] as marriage_status
from user_info
where year(firstactivetime)='2018' )as b
where age_type in ("20-30岁", "30-40岁")
group by b.age_type,if(b.marriage_status=1,"已婚","未婚")
步骤总结：
1、先选出激活时间在2018年的用户，并把他们所在的年龄段计算好，并提取出婚姻状况；
如何select后面没有进行聚合，则可以不用使用group by，直接使用where进行过滤就可以；
2、取出年龄段在20-30岁和30-40岁的用户，把他们的婚姻状况转义成可理解的说明；
3、聚合计算，针对年龄段，婚姻状况的聚合