Subject：关于在Hive中将特定字符分隔的字符串拆分成多行的应用
Keys：lateral view、split、explode、HQL、Hive、数据拆分
1、案例描述
假设：
有问卷p1,p2,p3,每个问卷含有问题q1,q2,q3...,每个问题对应答案a11,a21,a31，问题与答案之间,用':'分隔,每个问题之间以','分隔.例如:q1:a11,q2:a21,q3:a31:a32
问题：
将问题与答案拆分成独立的列，如：
P1 q1 a11
P1 q2 a21
…
解决方案：
使用lateral View结合Explode实现数据拆分。
2、小知识：
lateral view用于和split、explode等UDTF一起使用的，能将一行数据拆分成多行数据，在此基础上可以对拆分的数据进行聚合，lateral view首先为原始表的每行调用UDTF，UDTF会把一行拆分成一行或者多行，lateral view在把结果组合，产生一个支持别名表的虚拟表。
1）. Lateral View语法
lateral View: LATERAL VIEW udtf(expression) tableAlias AS columnAlias (',' columnAlias)*
from Clause: FROM baseTable(lateralView)*
2). Lateral View用于UDTF(user-defined table generating functions)中将行转成列，例如explode().
3). 目前Lateral View不支持有上而下的优化。如果使用Where子句，查询可能将不被编译。解决方法见：此时，在查询之前执行et hive.optimize.ppd=false;
3、实现步骤:
2.1 创建测试数据
drop table temp_bigdata.test_p1;
create table temp_bigdata.test_p1 as
select 'p1' as p,'q1:a11,q2:a21,q3:a31:a32' as qa from default.dual union all
select 'p2' as p,'q1:a11,q2:a21:a22,q3:a31:a32' as qa from default.dual union all
select 'p3' as p,'q1:a11,q2:a21,q3:' as qa from default.dual;
2.2 查看数据内容
select * from temp_bigdata.test_p1;
p qa
p3 q1:a11,q2:a21,q3
p2 q1:a11,q2:a21:a22,q3:a31:a32
p1 q1:a11,q2:a21,q3:a31:a32
2.3 测试explode函数
select explode(split(qa,',')) as qa1 from temp_bigdata.test_p1;
q1:a11
q2:a21
q3:
q1:a11
q2:a21:a22
q3:a31:a32
q1:a11
q2:a21
q3:a31:a32
2.4 开始处理,先将问题拆分成独立行
drop table temp_bigdata.test_p1_adid;
create table temp_bigdata.test_p1_adid as
select row_number() over(order by p,adid) rid,p, adid
from temp_bigdata.test_p1 LATERAL VIEW explode(split(qa,',')) adtable AS adid;
select * from temp_bigdata.test_p1_adid;
rid p adid
1 p1 q1:a11
2 p1 q2:a21
3 p1 q3:a31:a32
4 p2 q1:a11
5 p2 q2:a21:a22
6 p2 q3:a31:a32
7 p3 q1:a11
8 p3 q2:a21
9 p3 q3:
2.5 再将每个问题中的问题及答案拆分成多行
create table temp_bigdata.test_p1_adid2 as
select rid,
p,
adid, --拆分后的问题和答案
split(adid,':')[0] as q, --取出问题
adid2 --拆分答案为行
from temp_bigdata.test_p1_adid
LATERAL VIEW explode(split(adid,':')) adttable2 as adid2;
select * from temp_bigdata.test_p1_adid2;
rid p adid q adid2
1 p1 q1:a11 q1 q1
1 p1 q1:a11 q1 a11
2 p1 q2:a21 q2 q2
2 p1 q2:a21 q2 a21
3 p1 q3:a31:a32 q3 q3
3 p1 q3:a31:a32 q3 a31
3 p1 q3:a31:a32 q3 a32
4 p2 q1:a11 q1 q1
4 p2 q1:a11 q1 a11
5 p2 q2:a21:a22 q2 q2
5 p2 q2:a21:a22 q2 a21
5 p2 q2:a21:a22 q2 a22
6 p2 q3:a31:a32 q3 q3
6 p2 q3:a31:a32 q3 a31
6 p2 q3:a31:a32 q3 a32
7 p3 q1:a11 q1 q1
7 p3 q1:a11 q1 a11
8 p3 q2:a21 q2 q2
8 p3 q2:a21 q2 a21
9 p3 q3: q3 q3
9 p3 q3: q3
2.6 取出结果,将多余行过滤,及问题列=拆分后的答案列
select * from temp_bigdata.test_p1_adid2 where q<>adid2 order by rid,adid;
rid p adid q adid2
1 p1 q1:a11 q1 a11
2 p1 q2:a21 q2 a21
3 p1 q3:a31:a32 q3 a32
3 p1 q3:a31:a32 q3 a31
4 p2 q1:a11 q1 a11
5 p2 q2:a21:a22 q2 a22
5 p2 q2:a21:a22 q2 a21
6 p2 q3:a31:a32 q3 a32
6 p2 q3:a31:a32 q3 a31
7 p3 q1:a11 q1 a11
8 p3 q2:a21 q2 a21
9 p3 q3: q3 Null
OK，得到了想要的结果，说明成功了，可以看到最后一条记录，也能正确的被处理。
4、总结:
1、写法有点怪，一定不要写错；
2、不要忘记起别名，要不select没列可写。