hive行转列与列转行

简单行转列

• 将一个融合多个信息的字段拆分为多行

aaa,bbb,ccc  ===>  aaa
                   bbb
                   ccc

• 实现方法：利用内置UDTF函数explode实现

split('aaa,bbb,ccc',','); //根据逗号进行分割，将复合字段转化为hive数组类型
explode(split('aaa,bbb,ccc',',')); //对得到的数据使用explode函数拆分为多行

• 实现结果

hive> select split('aaa,bbb,ccc',',');
OK
["aaa","bbb","ccc"]
----------------------------------------------
hive> select explode(split('aaa,bbb,ccc',','));
OK
aaa
bbb
ccc

复杂行转列

• 需求：将转换后的多行信息与原表字段关联查询。
• 比如：
  原始数据student表

name hobby
tom 唱歌,跳舞,弹琴
jack 唱歌,绘画,打篮球

• 转换后数据

tom 唱歌
tom 跳舞
tom 弹琴
jack 唱歌
jack 绘画
jack 打篮球

• 拆分后的字段与原表的name字段是没有办法直接关联的，因为它们不是一张表。可以使用later view侧视图进行关联查询。

explode(split(hobby,',')) temp as x   //此语句本身返回的就是一张虚拟表 记为temp 可以为temp表的列指定字段名x
student lateral view temp     //使用later view可以直接关联两张表，保持原有映射关系
select student.name,temp.x from student lateral view explode(split(hobby,',')) temp as x;//完整写法

• 创建student表并加载数据

create external table student
(
   name string,
   hobby string
) row format delimited fields terminated by ' '; 
load data local inpath '/root/student.txt' into table student;

• 执行sql语句 查看结果

hive> select student.name,temp.x from student lateral view explode(split(hobby,',')) temp as x;
OK
tom     唱歌
tom     跳舞
tom     弹琴
jack    唱歌
jack    绘画
jack    打篮球

简单列转行

• 将多行数据融合为一行

aaa   ===>   aaa,bbb,ccc
bbb
ccc

• 实现方法：

collect_set(column) //将某一列所有数据转化为一个集合（去重）
concat_ws(',',collect_set(column))  //将集合中所有元素以逗号分割连接为字符串

• 将dept表的dep列转为一行 展示结果

select dep from dept;
销售
测试
开发
算法
--------------------------------------------------------
select concat_ws(',',collect_set(dep)) from dept;
销售,测试,开发,算法

• 此外还有一个聚合函数 collect_list 不去重

复杂列转行

• 转换后的一行信息与原始行字段关联查询
• 比如
  原始数据

name hobby
tom 唱歌
tom 跳舞
tom 弹琴
jack 唱歌
jack 绘画
jack 打篮球

结果数据

tom 唱歌,跳舞,弹琴
jack 唱歌,绘画,打篮球

• 根据name字段进行分组，在每个分组内部name是唯一的可以直接查询，hobby字段就可以使用collect_set与concat_ws进行连接为复合字段。
• 创建stu表导入数据

create external table stu
(
   name string,
   hobby string
) row format delimited fields terminated by ' '; 
load data local inpath '/root/stu.txt' into table stu;

• 查询：select name,concat_ws(’,’,collect_set(hobby)) from stu group by name;
• 结果如下

OK
jack    唱歌,绘画,打篮球
tom     唱歌,跳舞,弹琴