hive-行转列和列转行

一、行转列的使用

１、问题
hive如何将
a       b       1
a       b       2
a       b       3
c       d       4
c       d       5
c       d       6

变为：
a       b       1,2,3
c       d       4,5,6

２、数据
test.txt
a       b       1 
a       b       2 
a       b       3 
c       d       4 
c       d       5 
c       d       6
 
３、答案
1.建表

drop table tmp_jiangzl_test;
create table tmp_jiangzl_test
(
col1 string,
col2 string,
col3 string
)
row format delimited fields terminated by '\t'
stored as textfile;

load data local inpath '/home/jiangzl/shell/test.txt' into table tmp_jiangzl_test;

2.处理

select col1,col2,concat_ws(',',collect_set(col3)) 
from tmp_jiangzl_test  
group by col1,col2;

collect_set(x)   列转行函数---没有重复， 组装多列的数据的结构体
collect_list(x)   列转行函数---可以有重复，组装多列的数据的结构体
concat_ws 拼接函数， 用于多列转成同一行字段后，间隔符

二、列转行

１、问题

hive如何将

a       b       1,2,3
c       d       4,5,6

变为：
a       b       1
a       b       2
a       b       3
c       d       4
c       d       5
c       d       6

2、答案


1.建表

drop table tmp_jiangzl_test;
create table tmp_jiangzl_test
(
col1 string,
col2 string,
col3 string
)
row format delimited fields terminated by '\t'
stored as textfile;

处理：

select col1, col2, col5
from tmp_jiangzl_test a 
lateral  view explode(split(col3,','))  b AS col5