Hive语法之查询语句DQL

---

前言

本文主要讲述Hive语法中的查询语句
参考网站
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Select

---

一、基本查询

查询语句语法：

SELECT [ALL | DISTINCT] select_expr, select_expr, ...
FROM table_reference
[WHERE where_condition]
[GROUP BY col_list]
[ORDER BY col_list]
[CLUSTER BY col_list
| [DISTRIBUTE BY col_list] [SORT BY col_list]
]
[LIMIT number]

1.1 全表和特定列查询

（1）创建部门表

create table if not exists dept(
deptno int,
dname string,
loc int
)
row format delimited fields terminated by '\t';

（2）创建员工表

create table if not exists emp(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int)
row format delimited fields terminated by '\t';

1 ） 全表查询

hive (default)> select * from emp;
hive (default)> select empno,ename,job,mgr,hiredate,sal,comm,deptno from emp ;

2 ） 选择特定列查询

hive (default)> select empno, ename from emp;

注意：
（1）SQL 语言大小写不敏感。
（2）SQL 可以写在一行或者多行
（3）关键字不能被缩写也不能分行
（4）各子句一般要分行写。

1.2 列别名

1 ） 重命名一个列
2 ） 便于计算
3 ） 紧跟列名，也可以在列名和别名之间加入关键字‘AS ’
4 ） 案例实操
查询名称和部门

hive (default)> select ename AS name, deptno dn from emp;

1.3 算术运算符

案例实操：查询出所有员工的薪水后加 1 显示。

hive (default)> select sal +1 from emp;

1.4 常用函数

1 ） 求总行数（count ）

hive (default)> select count(*) cnt from emp;

2 ） 求工资的最大值（max ）

hive (default)> select max(sal) max_sal from emp;

3 ） 求工资的最小值（min ）

hive (default)> select min(sal) min_sal from emp;

4 ） 求工资的总和（sum ）

hive (default)> select sum(sal) sum_sal from emp;

5 ） 求工资的平均值（avg ）

hive (default)> select avg(sal) avg_sal from emp;

1.5 limit和where语句

典型的查询会返回多行数据。LIMIT 子句用于限制返回的行数。

hive (default)> select * from emp limit 5;

1 ） 使用 WHERE 子句，将不满足条件的行过滤掉
2 ）WHERE 子句紧随 FROM 子句
3 ） 案例实操
查询出薪水大于 1000 的所有员工

hive (default)> select * from emp where sal >1000;

注意：where 子句中不能使用字段别名。

1.6 比较运算符（Between/In/ Is Null）

1 ） 下面表中描述了谓词操作符 ， 这些操作符同样可以用于 JOIN…ON 和 和 HAVING 语句中。

2 ）案例实操
（1）查询出薪水等于 5000 的所有员工

hive (default)> select * from emp where sal =5000;

（2）查询工资在 500 到 1000 的员工信息

hive (default)> select * from emp where sal between 500 and 1000;

（3）查询 comm 为空的所有员工信息

hive (default)> select * from emp where comm is null;

（4）查询工资是 1500 或 5000 的员工信息

hive (default)> select * from emp where sal IN (1500, 5000);

1.7 Like 和 RLike

1 ）使用 LIKE 运算选择类似的值
2 ）选择条件可以包含字符或数字:
% 代表零个或多个字符(任意个字符)。
_ 代表一个字符。
3 ）RLIKE 子句
RLIKE 子句是 Hive 中这个功能的一个扩展，其可以通过 Java 的正则表达式这个更强大
的语言来指定匹配条件。
4 ）案例实操
（1）查找名字以 A 开头的员工信息

hive (default)> select * from emp where ename LIKE 'A%';

（2）查找名字中第二个字母为 A 的员工信息

hive (default)> select * from emp where ename LIKE '_A%';

（3）查找名字中带有 A 的员工信息

hive (default)> select * from emp where ename RLIKE '[A]';

1.8 逻辑运算符（And/Or/Not ）

1 ） 案例实操
（1）查询薪水大于 1000，部门是 30

hive (default)> select * from emp where sal>1000 and deptno=30;

（2）查询薪水大于 1000，或者部门是 30

hive (default)> select * from emp where sal>1000 or deptno=30;

（3）查询除了 20 部门和 30 部门以外的员工信息

hive (default)> select * from emp where deptno not IN(30, 20);

二、分组查询

2.1 Group by 语句

GROUP BY 语句通常会和聚合函数一起使用，按照一个或者多个列对结果进行分组，然
后对每个组执行聚合操作。
1 ） 案例实操：
（1）计算 emp 表每个部门的平均工资

hive (default)> select t.deptno, avg(t.sal) avg_sal from emp t group by t.deptno;

（2）计算 emp 每个部门中每个岗位的最高薪水

hive (default)> select t.deptno, t.job, max(t.sal) max_sal from emp t
group by
t.deptno, t.job;

2.2 Having语句

1 ）having 与 where 不同点
（1）where 后面不能写分组函数，而 having 后面可以使用分组函数。
（2）having 只用于 group by 分组统计语句。
2 ） 案例实操
（1）求每个部门的平均薪水大于 2000 的部门
求每个部门的平均工资

hive (default)> select deptno, avg(sal) from emp group by deptno;

求每个部门的平均薪水大于 2000 的部门

hive (default)> select deptno, avg(sal) avg_sal from emp group by deptno
having avg_sal > 2000;

三、Join语句

3.1 等值Join

Hive 支持通常的 SQL JOIN 语句。
1 ） 案例实操
（1）根据员工表和部门表中的部门编号相等，查询员工编号、员工名称和部门名称；

hive (default)> select e.empno, e.ename, d.deptno, d.dname from emp e
join dept d on e.deptno = d.deptno;

表的别名
1 ） 好处
（1）使用别名可以简化查询。
（2）使用表名前缀可以提高执行效率。
2 ） 案例实操
合并员工表和部门表

hive (default)> select e.empno, e.ename, d.deptno from emp e join dept d
on e.deptno = d.deptno;

3.2 连接查询

1 ）内连接：只有进行连接的两个表中都存在与连接条件相匹配的数据才会被保留下来。

hive (default)> select e.empno, e.ename, d.deptno from emp e join dept d
on e.deptno = d.deptno;

2 ）左外连接：JOIN 操作符左边表中符合 WHERE 子句的所有记录将会被返回。

hive (default)> select e.empno, e.ename, d.deptno from emp e left join
dept d on e.deptno = d.deptno;

3 ）右外连接：JOIN 操作符右边表中符合 WHERE 子句的所有记录将会被返回。

hive (default)> select e.empno, e.ename, d.deptno from emp e right join
dept d on e.deptno = d.deptno;

4 ）满外连接：将会返回所有表中符合 WHERE 语句条件的所有记录。如果任一表的指定字
段没有符合条件的值的话，那么就使用 NULL 值替代。

hive (default)> select e.empno, e.ename, d.deptno from emp e full join
dept d on e.deptno = d.deptno;

5 ）多表连接
注意：连接 n 个表，至少需要 n-1 个连接条件。例如：连接三个表，至少需要两个连接
条件。
数据准备
1700 Beijing
1800 London
1900 Tokyo
1 ）创建位置表

create table if not exists location(
loc int,
loc_name string
)
row format delimited fields terminated by '\t';

2 ） 导入数据

hive (default)> load data local inpath '/opt/module/datas/location.txt'
into table location;

3 ） 多表连接查询

hive (default)>SELECT e.ename, d.dname, l.loc_name
FROM emp e
JOIN dept d
ON d.deptno = e.deptno
JOIN location l
ON d.loc = l.loc;

大多数情况下，Hive 会对每对 JOIN 连接对象启动一个 MapReduce 任务。本例中会首先启动一个 MapReduce job 对表 e 和表 d 进行连接操作，然后会再启动一个 MapReduce job 将第一个MapReduce job 的输出和表 l;进行连接操作。
注意：为什么不是表 d 和表 l 先进行连接操作呢？这是因为 Hive 总是按照从左到右的顺序执行的。
优化：当对 3 个或者更多表进行 join 连接时，如果每个 on 子句都使用相同的连接键的话，那么只会产生一个 MapReduce job。
笛卡尔积
1 ） 笛卡尔集会在下面条件下产生
（1）省略连接条件
（2）连接条件无效
（3）所有表中的所有行互相连接
2 ） 案例实操

hive (default)> select empno, dname from emp, dept;

四、排序语句

4.1 全局排序（Order By ）

Order By：全局排序，只有一个 Reducer
1 ） 使用 ORDER BY 子句排序
ASC（ascend）: 升序（默认）
DESC（descend）: 降序
2 ）ORDER BY 子句在 SELECT 语句的结尾
3 ） 案例实操
（1）查询员工信息按工资升序排列

hive (default)> select * from emp order by sal;

（2）查询员工信息按工资降序排列

hive (default)> select * from emp order by sal desc;

4.2 条件排序

按照员工薪水的 2 倍排序

hive (default)> select ename, sal*2 twosal from emp order by twosal;

多个列排序
按照部门和工资升序排序

hive (default)> select ename, deptno, sal from emp order by deptno, sal;

4.3 每个Reduce内部排序（Sort By ）

Sort By：对于大规模的数据集 order by 的效率非常低。在很多情况下，并不需要全局排序，此时可以使用 sort by。
Sort by 为每个 reducer 产生一个排序文件。每个 Reducer 内部进行排序，对全局结果集来说不是排序。
1 ） 设置 reduce 个数

hive (default)> set mapreduce.job.reduces=3;

2 ） 查看设置 reduce 个数

hive (default)> set mapreduce.job.reduces;

3 ） 根据部门编号降序查看员工信息

hive (default)> select * from emp sort by deptno desc;

4 ） 将查询结果导入到文件中（按照部门编号降序排序）

hive (default)> insert overwrite local directory
'/opt/module/data/sortby-result'
select * from emp sort by deptno desc;

4.4 分区（Distribute By ）

Distribute By： 在有些情况下，我们需要控制某个特定行应该到哪个 reducer，通常是为了进行后续的聚集操作。distribute by 子句可以做这件事。distribute by 类似 MR 中 partition（自定义分区），进行分区，结合 sort by 使用。对于 distribute by 进行测试，一定要分配多 reduce 进行处理，否则无法看到 distribute by 的效果。
1 ） 案例实操：
（1）先按照部门编号分区，再按照员工编号降序排序。

hive (default)> set mapreduce.job.reduces=3;
hive (default)> insert overwrite local directory
'/opt/module/data/distribute-result' select * from emp distribute by
deptno sort by empno desc;

注意：
➢ distribute by 的分区规则是根据分区字段的 hash 码与 reduce 的个数进行模除后，
余数相同的分到一个区。
➢ Hive 要求 DISTRIBUTE BY 语句要写在 SORT BY 语句之前。

4.5 Cluster By

当 distribute by 和 sorts by 字段相同时，可以使用 cluster by 方式。
cluster by 除了具有 distribute by 的功能外还兼具 sort by 的功能。但是排序只能是升序排序，不能指定排序规则为 ASC 或者 DESC。
（1）以下两种写法等价

hive (default)> select * from emp cluster by deptno;
hive (default)> select * from emp distribute by deptno sort by deptno;

注意：按照部门编号分区，不一定就是固定死的数值，可以是 20 号和 30 号部门分到一个分区里面去。

总结

以上就是今天要讲的内容，本文主要介绍了Hive中查询语句的使用。其实Hive的语法跟我们平常所学的SQL语法十分相似，毕竟Hive本身就是为了封装MapReduce，让我们能使用类SQL语法去操作数据。