1. 借鉴
Hive_语法_行列转换
2. 开始
行转列
相关函数
- CONCAT(string A/col, string B/col…)
返回输入字符串连接后的结果，支持任意个输入字符串; - CONCAT_WS(separator, str1, str2,...)
它是一个特殊形式的 CONCAT()。第一个参数表示参数间的分隔符。如果分隔符是 NULL，返回值也将为 NULL。这个函数会跳过分隔符参数后的任何 NULL 和空字符串。分隔符将被加到被连接的字符串之间。只能拼接字符串类型 - COLLECT_SET(col)
聚合函数，函数只接受基本数据类型，它的主要作用是将某字段的值进行去重汇总，产生array类型字段。 - COLLECT_LIST(col)
聚合函数，函数只接受基本数据类型，产生array类型字段
数据准备
db_company.company 数据下载
表如下：
# 列注释
# id 主键
# name， 产品名称
# code， 企业code
# dimension 领域
# score 分数
create external table db_company.company
(
id bigint,
name string,
code string,
dimension string,
score bigint
)
row format delimited
fields terminated by ',';
加载数据：
load data local inpath '/opt/envs/datas/company/company.txt' into table db_company.company;
CONCAT
拼接字符串
- 查询小米旗下分类和名称，以:分隔
select concat(dimension, ':', name) from db_company.company where code = '35462360';
结果如下
商标:小米 Play
商标:小米 Plus
商标:小米
专利:小米挂面
专利:小米红枣粥
CONCAT_WS
拼接字符串，只能输入字符串
- 查询分类，名称和分数，以:分隔
这里我们的score是bigint类型，会出现以下错误:
select concat_ws(':', dimension, name, score) from db_company.company where code = '35462360';
错误提示
FAILED: SemanticException [Error 10016]: Line 1:39 Argument type mismatch 'score': Argument 4 of function CONCAT_WS must be "string or array", but "bigint" was found.
正确的姿势如下：
select concat_ws(':', dimension, name, cast(score as string)) from db_company.company where code = '35462360';
查询结果如下：
商标:小米 Play:5
商标:小米 Plus:3
商标:小米:3
专利:小米挂面:3
专利:小米红枣粥:3
COLLECT_SET
-
① 获得名字的数组
select collect_set(name) from company;结果如下：
["小米 Play","小米 Plus","小米","至信","中胜","信用通行证","小米挂面","小米红枣粥","至信图像"] -
② 将 ① 中获得名字以 | 分隔
select concat_ws('|', collect_set(name)) from company;结果如下:
小米 Play|小米 Plus|小米|至信|中胜|信用通行证|小米挂面|小米红枣粥|至信图像 -
③ 查询每个企业，不同领域下的产品的名称，以,分隔
我们需要的是下面的数据
35462360:商标 小米 Play,小米 Plus,小米 35462361:商标 至信,中胜,信用通行证 35462360:专利 小米挂面,小米红枣粥 35462361:专利 至信图像第一步：拼接第一列
select concat(code, ':', dimension), name from company;获得以下数据
35462360:商标 小米 Play 35462360:商标 小米 Plus 35462360:商标 小米 35462361:商标 至信 35462361:商标 中胜 35462361:商标 信用通行证 35462360:专利 小米挂面 35462360:专利 小米红枣粥 35462361:专利 至信图像第二步：分组
select t1.code_dimension, concat_ws(',', collect_set(t1.name)) from ( select concat(code, ':', dimension) as code_dimension, name from company ) as t1 group by code_dimension;结果如下：
35462360:专利 小米挂面,小米红枣粥 35462360:商标 小米 Play,小米 Plus,小米 35462361:专利 至信图像 35462361:商标 至信,中胜,信用通行证
列转行
相关函数
- SPLIT(string str, string pattern)
按照pattern字符串分割str，会返回分割后的字符串数组 - EXPLODE(col)
将array或者map结构拆分成多行。 - LATERAL VIEW
用于和split, EXPLODE等UDTF一起使用，它能够将一列数据拆成多行数据，在此基础上可以对拆分后的数据进行聚合。
数据准备
db_movie.movie_douban 数据下载
表如下：
create database db_movie;
use db_movie;
create external table db_movie.movie_douban
(
name string,
tag array,
country string
)
row format delimited
fields terminated by ','
collection items terminated by '/';
加载数据：
load data local inpath '/opt/envs/datas/movie/movie.txt' into table db_movie.movie_douban;
SPLIT
注意这里split输出两个字符串类型，而我们的tag是array类型，所以这里我们做一个没有意义的测试。
select split(concat_ws(',', tag), ',')
from db_movie.movie_douban;
根据结果我们会发现它跟直接查询tag字段是一样的。
["犯罪","剧情"]
["剧情","爱情"]
["剧情","犯罪","悬疑"]
["剧情","歌舞"]
["剧情","爱情"]
["剧情","喜剧","爱情","战争"]
["剧情","历史","战争"]
["剧情","历史"]
["剧情","犯罪","悬疑"]
["剧情","犯罪","悬疑"]
["剧情","动作","犯罪"]
["剧情","动画","奇幻"]
["剧情","爱情","灾难"]
["剧情"]
EXPLODE
- 查看电影总共有多少个分类
这里为了好看，我也将列转行了，看官在试的时候可以去掉最外层查询
结果如下：select concat_ws(' ', collect_set(t2.name)) from ( select distinct t.name as name from (select explode(tag) as name from db_movie.movie_douban) as t ) as t2;剧情 动作 动画 历史 喜剧 奇幻 悬疑 战争 歌舞 灾难 爱情 犯罪
LATERAL VIEW
用法：LATERAL VIEW udtf(expression) tableAlias AS columnAlias
udtf：目前我们知道有split和explode
tableAlias：表别名
columnAlias：列别名
- ① 将分类数据展开成以下
别看好像挺简单，犯难了吧。这里我们可以一步到位name tag_category 肖申克的救赎 犯罪 肖申克的救赎 剧情 霸王别姬 剧情 霸王别姬 爱情 控方证人 剧情 控方证人 犯罪 控方证人 悬疑 伊丽莎白 剧情 伊丽莎白 歌舞 阿甘正传 剧情 阿甘正传 爱情 美丽人生 剧情 美丽人生 喜剧 美丽人生 爱情 美丽人生 战争 辛德勒的名单 剧情 辛德勒的名单 历史 辛德勒的名单 战争 茶馆 剧情 茶馆 历史 控方证人 剧情 控方证人 犯罪 控方证人 悬疑 十二怒汉 剧情 十二怒汉 犯罪 十二怒汉 悬疑 这个杀手不太冷 剧情 这个杀手不太冷 动作 这个杀手不太冷 犯罪 千与千寻 剧情 千与千寻 动画 千与千寻 奇幻 泰坦尼克号 剧情 泰坦尼克号 爱情 泰坦尼克号 灾难 忠犬八公的故事 剧情select name, tag_category from db_movie.movie_douban lateral view explode(tag) table_tmp as tag_category; - ② 查询每种类型的电影
结果如下，是不是有点意思，一开始我们的是以电影维度统计的电影的标签，现在我们以标签维度统计电影select t.tag_category, concat_ws(',', collect_set(t.name)) from ( select name, tag_category from db_movie.movie_douban lateral view explode(tag) table_tmp as tag_category ) as t group by tag_category;剧情 肖申克的救赎,霸王别姬,控方证人,伊丽莎白,阿甘正传,美丽人生,辛德勒的名单,茶馆,十二怒汉,这个杀手不太冷,千与千寻,泰坦尼克号,忠犬八公的故事 动作 这个杀手不太冷 动画 千与千寻 历史 辛德勒的名单,茶馆 喜剧 美丽人生 奇幻 千与千寻 悬疑 控方证人,十二怒汉 战争 美丽人生,辛德勒的名单 歌舞 伊丽莎白 灾难 泰坦尼克号 爱情 霸王别姬,阿甘正传,美丽人生,泰坦尼克号 犯罪 肖申克的救赎,控方证人,十二怒汉,这个杀手不太冷