hive基础语法三

hive基础语法三

from   --map阶段
join   --map(有map端join)或者reduce(reduce join)
on
where  --map端
group by --reduce阶段
having --reduce端
select --reduce端(或者map端)
order by  --reduce端
limit --reduce端(或者map端)
基础数据类型:
支持mysql或者oracle的数据类型。

struct

size只支持map array
arr的函数较为丰富
结构体和array的区别
数组只能是某一类型的集合
结构体和array的区别:
数组只能是某种类型的元素集合,但是结构体可以任意类型。
arr的函数较为丰富内部函数,strcut较少些
两者取值不一样,arr使用角标取值,而struct使用属性名取值
hive文件存储格式包括以下几类:

1、TEXTFILE

2、SEQUENCEFILE

3、RCFILE

4、ORCFILE(0.11以后出现)

其中TEXTFILE为默认格式,建表时不指定默认为这个格式,导入数据时会直接把数据文件拷贝到hdfs上不进行处理;

SEQUENCEFILE,RCFILE,ORCFILE格式的表不能直接从本地文件导入数据,数据要先导入到textfile格式的表中, 然后再从表中用insert导入SequenceFile,RCFile,ORCFile表中。

嵌套数据类型

嵌套??
所有元素分割符自己调(搜:hive的map类型处理)

hive共支持8个层级的分隔符,依次是:
\001,\002,\003,...\008
map嵌套使用
uid uname belong tax addr
1	xdd	wuxian:(300,300),gongjijin:1200,1500,shebao:300,
2	lkq	wuxian:200,300,gongjijin:1000,1200,shebao:200

create table qt(
id int,
name string,
addr map>
)
row format delimited fields terminated by '\t'
collection items terminated by ','
map keys terminated by ':'
;

函数

内置函数:

显示所有函数:
show functions;
查看函数描述:
desc func_name;
模糊查找hive的函数:
show functions like '*concat*'; 
rand(7) ;随机
说明:返回一个0到1范围内的随机数。如果指定种子seed,则会等到一个稳定的随机数序列
round(double,n);取多少位小数 四舍五入
split(str,spliter);
substr(str,start,end) 或者 substring()
size(arr/map) length(str)
concat(str,str.....)
concat_ws(分隔符,str,str1.......)
concat_ws(seprater,str,str1..)  : 输入类型一定是字符串或者数组
cast(col as type)
if(condition,true,false)

case col 
when value then ...
when value1 then ...
else 
...
end

case  
when col=value then ...
when col=value1 then ...
else 
...
end
if(condition,true,false)
 select if(1=2,"男",if(1=3,"妖","女"));
 select
 id,
 if(1=id,"男",if(2=id,"女","妖"))
 from u1
 ;
case col
when value then ... 
when value1 then ...
else
...
end

select
id,
(
case id
when 1 then "男"
when 2 then "女"
else
"妖"
end) sl
from u1
;

case
when col=value then ... 
when col=value1 then ...
else
...
end

select
id,
(
case 
when id=1 then "男"
when id=2 then "女"
else
"妖"
end) sl
from u1
;

is null 
is not null

nvl(val,default_value) : val为空则返回default

from_unixtime():返回unix时间
unix_timestamp;返回时间戳
to_date():
datediff
date_sub
date_add
last_day
next_day
current_date:
current_timestamp:
hour()
week()
mimint()
1.日期比较函数: datediff语法: datediff(string enddate,string startdate) 
返回值: int 
说明: 返回结束日期减去开始日期的天数。 

举例:

hive> select datediff('2016-12-30','2016-12-29');

1

2.日期增加函数: date_add语法: date_add(string startdate, intdays) 
返回值: string 
说明: 返回开始日期startdate增加days天后的日期。 

举例:

hive>select date_add('2016-12-29',10);

2017-01-08

3.日期减少函数: date_sub语法: date_sub (string startdate,int days) 
返回值: string 

说明: 返回开始日期startdate减少days天后的日期。 

举例:

hive>select date_sub('2016-12-29',10);

2016-12-19

4.查询近30天的数据

select * from table where datediff(current_timestamp,create_time)<=30;

create_time 为table里的字段,current_timestamp 返回当前时间 2018-06-01 11:00:00
=====================================================
show functions;
desc func_name;
coalesce(v1,v2,v3....) 返回第一个不为空的参数
xpath():返回xml nodes
show function like 'concat'

[外链图片转存失败(img-juqjeaT6-1568968991249)(D:/新机/千峰笔记/1568173412359.png)]

trim 

ltrim

hive> select  ltrim(" sdjfk dsfs ""sdfsdf");
OK
sdjfk dsfs sdfsdf
Time taken: 0.149 seconds, Fetched: 1 row(s)
hive> select  trim(" sdjfk dsfs ""sdfsdf");

lpad():左补足

lpad():左补足
replace(str,'',''):
substring_index(str,'a',2):指定索引位置
initcap():首字符变大写
find_in_set():查找是否在set中,费性能
str_to_map():转map

get_json_object():获取json对象

 Possible choices: _FUNC_(string, string)  

regexp_extract(str,reg,2):正则抽取  ()()()
regexp_replace(str,'',''):正则替换

parse_url():解析url

size(a1):
length(str):
map_keys()
map_values()
mv.["k1"]
mv.[0]
mv.k1
initcap()
initcap(str)——返回str,每个单词的第一个字母都是大写的,所有其他字母都是小写的。单词由空格分隔。
collect_set():
collect_list():
explode
爆炸(a)——将数组a的元素分成多行,或者将映射的元素分成多行和多列
explode(a) - separates the elements of array a into multiple rows, or the elements of a map into multiple rows and columns


cast():
binary():转换为二进制
select empno,ename,job,mgr,hiredate,sal, COALESCE(comm, 0),deptno from emp;

窗口函数:

应用场景:
求出分组内的统计、排名、自增
聚合函数和窗口函数的区别:
1集合函数是多行返回一行
2窗口函数可以达到1行返回一行或者多行返回一行
over(partition by a,b)
count(a) over(partition a,b order by a desc)
count(a) over(order by a desc)
窗口:分为物理窗口
sum() over()
avg() over()
窗口:逻辑窗口 
1 23 23
1 35 58
1 12 70

聚合函数和窗口函数区别:
1、聚合函数是一般是多行 返回一行,窗口函数可以达到1行返回一行或者多行返回一行

over(partition by a,b)
count(a) over(partition by a,b order by a desc)
count(a) over(order by a desc)

窗口:物理窗口和逻辑窗口
物理窗口:rows
逻辑窗口:range

语法:
ROWS/range between [CURRENT ROW | UNBOUNDED PRECEDING | [num] PRECEDING] AND  [UNBOUNDED FOLLOWING | [num] FOLLOWING| CURRENT ROW]


sum() over():
count() over()
avg() over()
...over()
first_value
last_value
lag
LAG  (scalar_expression [,offset] [,default]) OVER ([query_partition_clause] order_by_clause); The LAG function is used to access data from a previous row.
滞后(scalar_expression [,offset] [,default])超过([query_partition_clause] order_by_clause);滞后函数用于访问前一行中的数据。
lead
LEAD (scalar_expression [,offset] [,default]) OVER ([query_partition_clause] order_by_clause); The LEAD function is used to return data from the next row. 
将(scalar_expression [,offset] [,default])连接到([query_partition_clause] order_by_clause);LEAD函数用于从下一行返回数据。
ntile
NTILE(n)
用于将分组数据按照顺序切分成n片,返回当前记录所在的切片值
NTILE不支持ROWS BETWEEN,比如 NTILE(2) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN 3 PRECEDING AND CURRENT ROW)

如果切片不均匀,默认增加第一个切片的分布
经常用来取前30% 带有百分之多少比例的记录什么的
-- 1 把记录按价格顺序拆分成10片
drop table if exists test_dp_price_rk;
create table test_dp_price_rk
as
select
 id,
 price,
 NTILE(10) OVER (order by price desc) as rn
from test_dp_price;

-- 2 按片取30%和70%,分别计算平均值
select
  new_rn,
  max(case when new_rn=1 then 'avg_price_first_30%' when new_rn=2 then 'avg_price_last_70%' end) as avg_price_name,
  avg(price) avg_price
from 
(
  select 
    id,
    price,
    rn,
    case when rn in (1,2,3) then 1 else 2 end as new_rn
  from test_dp_price_rk
)a
group by new_rn;
案例:
create table if not exists win(
name string,
class string,
score int
)
row format delimited fields terminated by ' '
;


load data local inpath '/home/hivedata/win' into table win;

逻辑:
select 
name,
class,
score,
sum(score) over(order by score range between 5 preceding and 5 following) mm 
from win;

物理:
select 
name,
class,
score,
sum(score) over(order by score rows between 2 preceding and 3 following) mm 
from win;

每个班前一名和其后一名的分差:
select 
name,
class,
score,
(score-lag(score,1) over(partition by class order by score asc)) diff
from win;


每个班前一名和其后一名的分差:
select 
name,
class,
score,
(score-lag(score,1) over(partition by class order by score asc)) diff
from win;

第一个和最后一个值:
select 
name,
class,
score,
first_value(score) over(partition by class order by score) first,
last_value(score) over(partition by class order by score) last
from win;

[外链图片转存失败(img-kmBBz84t-1568968991250)(D:/新机/千峰笔记/1568184125984.png)]

聚合函数

基本聚合:group by
高级聚合 grouping sets、with cube、with 
group by :
grouping sets() : 指定分组
with cube:  数据魔方,任意维度的组合查询
with rollup : 
首先,hive一般分为基本聚合和高级聚合,而基本聚合就是常见的group by,而高级聚合就是grouping sets、with cube、with rollup等。一般group by与hive内置的聚合函数max、min、count、sum、avg等搭配使用。而cube和rollup则更多参考oracle的cube和rollup聚合而来,从hive 0.10.0版本后开始支持。
需求:求每位学员的每次考试的成绩与上一次的成绩对比
lag(score,2)   -- 取出前n行的数据
lead(score,2)  -- 取出后n行的数据
select 
dt,
name,
score,
lag(score,1) over(distribute by name sort by dt asc) as upscore
from stu_score
;

排名函数

row_number() over()
rank()
dense_rank() 

三者区别:
row_number() over() : 排名函数,名次不会重复,适合于生成主键或者不并列排名
rank() over() :  排名函数,有并列名次,名次不连续。如:1,1,3
dense_rank() over() : 排名函数,有并列名次,名次连续。如:1,1,2


案例:
根据class分组,并根据score排名:
select
class,
name,
score,
row_number() over(distribute by class sort by score desc) rn,
rank() over(distribute by class sort by score desc) rk,
dense_rank() over(distribute by class sort by score desc) drk
from win
;

计算每一个班级的前2名:
select
tmp.*
from (
select
class,
name,
score,
row_number() over(distribute by class sort by score desc) rn,
rank() over(distribute by class sort by score desc) rk,
dense_rank() over(distribute by class sort by score desc) drk
from win) tmp
where tmp.rn < 3
;

groupby

分组的意思,使用GROUP BY时,除聚合函数外其他已选择列必须包含在GROUP BY子句中,否则会报错。
求某天、某公司、某部门的员工数量:
select
class,
score,
count(*)
from win
group by class,score
;


结果:
1       80      1
1       95      2
2       74      1
2       92      1
3       45      1
3       55      1
3       78      1
3       99      2

select empno,ename,job,mgr,hiredate,sal, COALESCE(comm, 0),deptno from emp;

注意:
1、有group by时,查询字段要么在group by子句中,要么在聚合函数中。
2、group by与聚合函数搭配使用,但是聚合函数不能嵌套使用,如sum(count(*))。
3、如果group by的列值中有null,则包含该null的行将在聚合时被忽略。为了避免这种情况,可以使用COALESCE来将null替换为一个默认值。
4、group by与聚合函数count()搭配使用时,同时COUNT又和DISTINCT搭配使用时,Hive将忽略对reducer个数的设置(如:set mapred.reduce.tasks=20;), 仅会有一个reducer!!!此时reduce将成为瓶颈,这时我们可以使用子查询的方式解决该问题,同时子查询需要别名。
5、collect_set() 和collect_list() 不是聚合函数,不需要和group by搭配使用
grouping sets
grouping sets可以实现对同一个数据集的多重group by操作。事实上grouping sets是多个group by进行union all操作的结合,它仅使用一个stage完成这些操作。grouping sets的子句中如果包换()数据集,则表示整体聚合。多用于指定的组合查询。
例:
1、grouping sets(a,b) ==> group by a union all group by b
2、grouping sets(a,b,(a,b) ==> group by a union all group by b union all group by a,b
3、grouping sets(a,b,(a,b),()) ==>group by a union all group by b union all group by a,b union all 无group by语句

group by class
group by score
group by class,score



例1、
select
class,
NULL as score,
count(*)
from win
group by class
union all
select
NULL AS class,
score,
count(*)
from win
group by score
union all 
select
class,
score,
count(*)
from win
group by class,score
;

==如上的语句等价于如下的语句

select
class,
score,
count(*)
from win
group by class,score
grouping sets(class,score,(class,score))
;

上面两个语句的结果都如下:

NULL    45      1
NULL    55      1
NULL    74      1
NULL    78      1
NULL    80      1
NULL    92      1
NULL    95      2
NULL    99      2
1       NULL    3
2       NULL    2
3       NULL    5

1       80      1
1       95      2
2       74      1
2       92      1
3       45      1
3       55      1
3       78      1
3       99      2

cube

数据立方,
cube俗称是数据立方,它可以时限hive任意维度的组合查询。即使用with cube语句时,可对group by后的维度做任意组合查询,如:group a,b,c with cube ,则它首先group a,b,c 然后依次group by a,c 、 group by b,c、group by a,b 、group a 、group b、group by c、group by () 等这8种组合查询,所以一般cube个数=2^3个。2是定值,3是维度的个数。多用于无级联关系的任意组合查询。

例1、
select
class,
score,
count(*)
from win
group by class,score
with cube
;

==如上语句等价于如下

select
class,
score,
count(*)
from win
group by class,score
grouping sets(class,score,(class,score),())
;


结果如下:
NULL    NULL    10
NULL    45      1
NULL    55      1
NULL    74      1
NULL    78      1
NULL    80      1
NULL    92      1
NULL    95      2
NULL    99      2
1       NULL    3
1       80      1
1       95      2
2       NULL    2
2       74      1
2       92      1
3       NULL    5
3       45      1
3       55      1
3       78      1
3       99      2


注意:
如上的实现,如果采用传统的group by加union all的方式实现,那就是写得更复杂,大家可以尝试写一写。

rollup

卷起的意思,俗称层级聚合,相对于grouping sets能指定多少种聚合,而with rollup则表示从左往右的逐级递减聚合,如:group by a,b,c with rollup 等价于 group by a, b, c grouping sets( (a, b, c), (a, b), (a), ( )).直到逐级递减为()为止,多适用于有级联关系的组合查询,如国家、省、市级联组合查询。

例1、
select
class,
score,
count(*)
from win
group by class,score
with rollup
;

==上面语句等价于如下语句
select
class,
score,
count(*)
from win
group by class,score
grouping sets((class,score),class,())
;

结果如下:

NULL    NULL    10
1       NULL    3
1       80      1
1       95      2
2       NULL    2
2       74      1
2       92      1
3       NULL    5
3       45      1
3       55      1
3       78      1
3       99      2


注意:
如上的实现,也可以采用传统的group by加union all来实现,大家可以尝试。

聚合优化

hive.map.agg=true;     #最好将其设置为true,因为会用到ma端聚合。
hive.new.job.grouping.set.cardinality=30;   #在grouping sets/cube/rollup中是否启用新的job来执行,主要是因为如果分组多而造成数据立方体炸裂,适当设置该阀值,默认为30.

自定义函数

自定义函数:

hive的内置函数满足不了所有的业务需求。
hive提供很多的模块可以自定义功能,比如:自定义函数、serde、输入输出格式等。



常见的自定义函数:

udf:用户自定义函数,user defined function。一对一的输入输出。(最常用的)。
udaf:用户自定义聚合函数。user defined aggregate function。多对一的输入输出。
udtf:用户自定义表生成函数。user defined table-generate function.一对多的输入输出。

常见的自定义函数

udf:一对一的输入输出(常用)

udaf:多对一的输入输出

udtf:一对多的输入输出

编写:

1、继承UDF,重写evaluate(),允许重载。(常用)
2、继承genericUDF,重写initlizer()、getdisplay()、evaluate()。



案例:


> add jar /home/hadoop_learn-1.0.jar;
> create temporary function my_concat as 'com.ali.udf.FirstUdf';
> show functions like *my_c*;
hive> show functions like '*my_c*';
OK
my_concat
> select my_concat('a','b');
> select my_concat(class,name),score from win;


永久:
> create function my_concat as 'com.ali.udf.FirstUdf' using jar hdfs://hadoop01:9000/hadoop_learn-1.0.jar;
将udf的包上传到指定位置。
以后每次将会加载方法。
注意,该方式将会使用库名.函数名。
CREATE TABLE test (
 id string,
 hivearray array,
 hivemap map) 
ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe'
WITH SERDEPROPERTIES ("field.delim"="[,]","collection.delim"=":","mapkey.delim"="@");

添加函数

法一:
> add jar /home/hadoop_learn-1.0.jar;
> create temporary function my_concat as 'com.ali.udf.FirstUdf';
> show functions like *my_c*;
hive> show functions like '*my_c*';
OK
my_concat
> select my_concat('a','b');
> select my_concat(class,name),score from win;


法二:(永久)
> create function my_concat as 'Udf.DateYear' using jar 'hdfs://hadoop-01:9000/math/my_datayear.jar';
将udf的包上传到指定位置。
以后每次将会加载方法。
注意,该方式将会使用库名.函数名。

法三:
将如下两行语句放到hive的根目录的bin目录下的hive-init
add jar /home/hadoop_learn-1.0.jar;
create temporary function my_concat as 'com.ali.udf.FirstUdf';
每次连接就需要使用hive -i ./hive-init

法四:
将如下两行语句放到hive的根目录的bin目录下的.hiverc
add jar /home/hadoop_learn-1.0.jar;
create temporary function my_concat as 'com.ali.udf.FirstUdf';
每次连接就需要使用hive

法五:源码编译
法一:
> add jar /home/hadoop_learn-1.0.jar;
> create temporary function my_concat as 'com.ali.udf.FirstUdf';
> show functions like *my_c*;
hive> show functions like '*my_c*';
OK
my_concat
> select my_concat('a','b');
> select my_concat(class,name),score from win;


法二:(永久)
> create function my_concat as 'Udf.DateYear' using jar 'hdfs://hadoop-01:9000/math/my_datayear.jar';
将udf的包上传到指定位置。
以后每次将会加载方法。
注意,该方式将会使用库名.函数名。

法三:
将如下两行语句放到hive的根目录的bin目录下的hive-init
add jar /home/hadoop_learn-1.0.jar;
create temporary function my_concat as 'com.ali.udf.FirstUdf';
每次连接就需要使用hive -i ./hive-init

法四:
将如下两行语句放到hive的根目录的bin目录下的.hiverc
add jar /home/hadoop_learn-1.0.jar;
create temporary function my_concat as 'com.ali.udf.FirstUdf';
每次连接就需要使用hive

法五:源码编译

你可能感兴趣的:(hive,数仓,hadoop,hive,数仓,hadoop)