Hive函数之行转列

CONCAT(string A/col, string B/col…)：返回输入字符串连接后的结果，支持任意个输入字符串;

COLLECT_SET(col)：函数只接受基本数据类型，它的主要作用是将某字段的值进行去重汇总，产生array类型字段。

CONCAT_WS(separator, str1, str2,...)：它是一个特殊形式的 CONCAT()。第一个参数剩余参数间的分隔符。分隔符可以是与剩余参数一样的字符串。如果分隔符是 NULL，返回值也将为 NULL。这个函数会跳过分隔符参数后的任何 NULL 和空字符串。分隔符将被加到被连接的字符串之间;

2．数据准备

表   数据准备

name	constellation	blood_type
孙悟空	白羊座	A
大海	射手座	A
宋宋	白羊座	B
猪八戒	白羊座	A
凤姐	射手座	A

 

select concat_set(name) from person_info;

结果如下：(concat_set得到一个数组)

["孙悟空","大海","宋宋","猪八戒","凤姐"]

 

select concat_ws('|',collect_set(name)) from person_info;

结果如下：(concat_ws第二个参数可以是数组)

孙悟空|大海|宋宋|猪八戒|凤姐

 

3．需求

把星座和血型一样的人归类到一起。结果如下：

射手座,A            大海|凤姐

白羊座,A            孙悟空|猪八戒

白羊座,B            宋宋

4．创建本地constellation.txt，导入数据

[atguigu@hadoop102 datas]$ vi constellation.txt

孙悟空   白羊座   A

大海      射手座    A

宋宋      白羊座    B

猪八戒    白羊座    A

凤姐      射手座    A

5．创建hive表并导入数据

create table person_info(

name string,

constellation string,

blood_type string)

row format delimited fields terminated by "\t";

load data local inpath “/opt/module/datas/person_info.txt” into table person_info;

6．按需求查询数据

select     t1.base,     concat_ws('|', collect_set(t1.name)) name from     (select         name,         concat(constellation, ",", blood_type) base     from         person_info) t1 group by     t1.base;