hive拼接函数，行转列与列转行

拼接函数

1.concat

命令格式：
concat(string A, string B...)
参数说明：
● A,B等为string类型，若输入为bigint, double, datetime类型会隐式转换为string后参与运算，其它类型报异常。
返回值：string
用途：
返回值是将参数中的所有字符串连接在一起的结果。
备注：
如果没有参数或者某个参数为NULL，结果均返回NULL
concat(), concat(null, 'a'), concat('a', null, 'b')返回值都是NULL。

select concat(1,2,3)

2.concat_ws

命令格式：
concat_ws(STRING separator,string A, string B...)
参数说明：
● A,B等为string类型，若输入为bigint, double, datetime类型会隐式转换为string后参与运算，其它类型报异常。
返回值：string
用途：
使用指定分隔符拼接字符串。
备注：
如果没有参数或者某个参数为NULL，结果均返回NULL
concat_ws(',',null, 'a'), concat_ws(',','a', null, 'b')返回值都是NULL。

select concat_ws(',',1,2,3)

列转行

1.collect_set/collect_list

命令格式：
collect_set(string A)
用途：
实现列转行，将分组中的某列转为一个数组（array）返回。
根据某个字段分组后，把分在一组的数据合并在一起，默认分隔符’,’
备注：
collect_list不去重，collect_set去重。
常与concat_ws结合使用。

tmp表：

 

select aa
       ,collect_set(bb) as bb_1
       ,CONCAT_WS(',',collect_set(bb)) as bb
       ,collect_list(bb) as cc_1
       ,CONCAT_WS(',',collect_list(bb)) as cc
from 
(select 'a' as aa,'1' as bb
union all 
select 'a','2'
union all 
select 'b','3'
union all 
select 'a','1'
union all 
select 'b','2'
) tmp
group by aa

 

 行转列

tmp表

1.explode

用途：处理array，map类型数据。

备注：explode不能从表中产生其他列。

select explode(split(bb,','))
from (
    select aa,CONCAT_WS(',',collect_set(bb)) as bb
    from 
    (select 'a' as aa,'1' as bb
    union all 
    select 'a','2'
    union all 
    select 'b','3'
    union all 
    select 'a','1'
    union all 
    select 'b','2'
    ) t
    group by aa
) tmp

2.lateral view

用途：配合explode（或者其他的UDTF），一个语句生成把单行数据拆解成多行，即实现行转列，且解决UDTF不能添加额外列的问题。

备注：lateral view可以同时多次使用。

select aa,bbs_2
from (
    select aa,CONCAT_WS(',',collect_set(bb)) as bb
    from 
    (select 'a' as aa,'1' as bb
    union all 
    select 'a','2'
    union all 
    select 'b','3'
    union all 
    select 'a','1'
    union all 
    select 'b','2'
    ) t
    group by aa
) tmp
lateral view explode(split(bb,',')) bbs as bbs_2
;