hive 中lateral view 和 explode使用案例

0.函数说明

EXPLODE(col):将 hive 一列中复杂的 array 或者 map 结构拆分成多行。
LATERAL VIEW
用法:LATERAL VIEW udtf(expression) tableAlias AS columnAlias
解释:用于和 split, explode 等 UDTF 一起使用,它能够将一列数据拆成多行数据,在此基础上可以对拆分后的数据进行聚合。

lateral view 使用案例:

源数据结构如下:
movie category
《疑犯追踪》 悬疑,动作,科幻,剧情
《Lie to me》 悬疑,警匪,动作,心理,剧情
《战狼 2》 战争,动作,灾难

1.建表

create table movie_info(
movie string,
category array)
row format delimited fields terminated by “\t”
collection items terminated by “,”;

2.导数据

load data local inpath “/home/movie.txt” into table
movie_info;

3.查询sql

select movie,explode_category
from movie_info lateral view explode(category)t as explode_category;
结果如下:
《疑犯追踪》 悬疑
《疑犯追踪》 动作
《疑犯追踪》 科幻
《疑犯追踪》 剧情
《Lie to me》 悬疑
《Lie to me》 警匪
《Lie to me》 动作
《Lie to me》 心理
《Lie to me》 剧情
《战狼 2》 战争
《战狼 2》 动作
《战狼 2》 灾难

个人理解就是 lateral view 就是侧写功能,将一行数据炸裂开之后在与原表进行关联。
仅做记录!

你可能感兴趣的:(Hive)