Hive3第三章：DML数据操作(二)

系列文章目录

Hive3第一章：环境安装
Hive3第二章：简单交互
Hive3第三章：DML数据操作
Hive3第三章：DML数据操作(二)

---

---

前言

这次博客记录仪一下DML的数据查询，和sql非常类似，所以比较多，专门写一次博客来记录，如果sql基础不错，就别看啦。

---

一、基本查询

我们先做点数据，然后上传，因为这次要写很多的sql语句，所以建议使用一些辅助工具，比如navicat，博注在deepin操作系统完成实验，使用DBeaver，工具看个人习惯，所以就不提供了，没有合适的工具，直接在hive里写也可以。

1.创建想要的表

部门表

create table if not exists dept(
deptno int,
dname string,
loc int
)
row format delimited fields terminated by ' ‘;

员工表

create table if not exists emp(
empno int,
ename string,
job string,
mgr int,
hiredate string, 
sal double, 
comm double,
deptno int)
row format delimited fields terminated by ' ';

分别导入数据

dept
10 ACCOUNTING 1700
20 RESEARCH 1800
30 SALES 1900
40 OPERATIONS 1700

emp
7369 SMITH CLERK 7902 1980-12-17 800.00 20
7499 ALLEN SALESMAN 7698 1981-2-20 1600.00 300.00 30
7521 WARD SALESMAN 7698 1981-2-22 1250.00 500.00 30
7566 JONES MANAGER 7839 1981-4-2 2975.00 20
7654 MARTIN SALESMAN 7698 1981-9-28 1250.00 1400.00 30
7698 BLAKE MANAGER 7839 1981-5-1 2850.00 30
7782 CLARK MANAGER 7839 1981-6-9 2450.00 10
7788 SCOTT ANALYST 7566 1987-4-19 3000.00 20
7839 KING PRESIDENT 1981-11-17 5000.00 10
7844 TURNER SALESMAN 7698 1981-9-8 1500.00 0.00 30
7876 ADAMS CLERK 7788 1987-5-23 1100.00 20
7900 JAMES CLERK 7698 1981-12-3 950.00 30
7902 FORD ANALYST 7566 1981-12-3 3000.00 20
7934 MILLER CLERK 7782 1982-1-23 1300.00 10

load data local inpath '/opt/module/datas/dept.txt' into table dept;
load data local inpath '/opt/module/datas/emp.txt' into table emp;

可以看到表中有了数据。

2.全表查询

SELECT * FROM emp;
SELECT empno,ename,job,mgr,hiredate,sal,comm,deptno from emp;

结果相同。

3.选择特定列查询

 select empno, ename from emp;

4.列别名

查询名称和部门

4.常用函数

1）求总行数（count）
2）求工资的最大值（max）
3）求工资的最小值（min）
4）求工资的总和（sum）
5）求工资的平均值（avg）
注意这里会用MR所以建议在Hive中使用。所以就展示第一个

select count(*) cnt from emp;
select max(sal) max_sal from emp;
select min(sal) min_sal from emp;
select sum(sal) sum_sal from emp; 
select avg(sal) avg_sal from emp;

5.Where 语句

查询出薪水大于 1000 的所有员工

select * from emp where sal >1000;

6.比较运算符（Between/In/ Is Null）

（1）查询出薪水等于 3000 的所有员工
（2）查询工资在 500 到 1000 的员工信息
（3）查询 comm 为空的所有员工信息
（4）查询工资是 1500 或 5000 的员工信息

select * from emp where sal =3000;
select * from emp where sal between 500 and 1000;
select * from emp where comm is null;
select * from emp where sal IN (1500, 5000);

7.Like

（1）查找名字以 A 开头的员工信息
（2）查找名字中第二个字母为 A 的员工信息
（3）查找名字中带有 A 的员工信息

select * from emp where ename LIKE 'A%';
select * from emp where ename LIKE '_A%';
select * from emp where ename LIKE '%A%';

8.逻辑运算符

（1）查询薪水大于 1000，部门是 30
（2）查询薪水大于 1000，或者部门是 30

select * from emp where sal>1000 and deptno=30;
select * from emp where sal>1000 or deptno=30;

二、分组

1. Group By 语句

（1）计算 emp 表每个部门的平均工资
（2）计算 emp 每个部门中每个岗位的最高薪水

select t.deptno, avg(t.sal) avg_sal from emp t group by t.deptno;
select t.deptno, t.job, max(t.sal) max_sal from emp t group by t.deptno, t.job;

2.Having 语句

（1）求每个部门的平均薪水大于 2000 的部门

求每个部门的平均工资
求每个部门的平均薪水大于 2000 的部门

select deptno, avg(sal) from emp group by deptno;
select deptno, avg(sal) avg_sal from emp group by deptno  having avg_sal > 2000;

三、 Join 语句

1.等值 Join

（1）根据员工表和部门表中的部门编号相等，查询员工编号、员工名称和部门名称；

select e.empno, e.ename, d.deptno, d.dname from emp e join dept d on e.deptno = d.deptno;

2.表的别名

合并员工表和部门表

select e.empno, e.ename, d.deptno from emp e join dept d 
on e.deptno = d.deptno;

3.内连接

内连接：只有进行连接的两个表中都存在与连接条件相匹配的数据才会被保留下来。

select e.empno, e.ename, d.deptno from emp e join dept d on e.deptno = d.deptno;

4.左外连接

左外连接：JOIN 操作符左边表中符合 WHERE 子句的所有记录将会被返回。

select e.empno, e.ename, d.deptno from emp e left join dept d on e.deptno = d.deptno;

5.满外连接

满外连接：将会返回所有表中符合 WHERE 语句条件的所有记录。如果任一表的指定字段没有符合条件的值的话，那么就使用 NULL 值替代。

select e.empno, e.ename, d.deptno from emp e full join dept d on e.deptno = d.deptno;

7.多表连接

既然是多表我们就要先准备数据。

1700 Beijing
1800 London
1900 Tokyo

创建表

create table if not exists location(
loc int,
loc_name string
)
row format delimited fields terminated by ' ';

要注意分隔符，别弄错了。

上传数据。

load data local inpath '/opt/module/datas/location.txt' 
into table location;

查询数据。

SELECT e.ename, d.dname, l.loc_name
FROM emp e 
JOIN dept d
ON d.deptno = e.deptno 
JOIN location l
ON d.loc = l.loc;

8.笛卡尔积

（1）省略连接条件
（2）连接条件无效
（3）所有表中的所有行互相连接

四、 排序

1.全局排序

Order By：全局排序，只有一个 Reducer
1）使用 ORDER BY 子句排序
ASC（ascend）: 升序（默认）
DESC（descend）: 降序
2）ORDER BY 子句在 SELECT 语句的结尾
3）案例实操
（1）查询员工信息按工资升序排列

select * from emp order by sal;

（2）查询员工信息按工资降序排列

select * from emp order by sal desc;

2.按照别名排序

按照员工薪水的 2 倍排序

select ename, sal*2 twosal from emp order by twosal;

3.多个列排序

按照部门和工资升序排序

select ename, deptno, sal from emp order by deptno, sal;

4.每个 Reduce 内部排序

Sort By：对于大规模的数据集 order by 的效率非常低。在很多情况下，并不需要全局排
序，此时可以使用 sort by。
Sort by 为每个 reducer 产生一个排序文件。每个 Reducer 内部进行排序，对全局结果集
来说不是排序。
1）设置 reduce 个数

set mapreduce.job.reduces=3;

2）查看设置 reduce 个数

set mapreduce.job.reduces;

3）根据部门编号降序查看员工信息

select * from emp sort by deptno desc;

4）将查询结果导入到文件中（按照部门编号降序排序）

insert overwrite local directory 
'/opt/module/data/sortby-result'
select * from emp sort by deptno desc;

五、分区

Distribute By： 在有些情况下，我们需要控制某个特定行应该到哪个 reducer，通常是为
了进行后续的聚集操作。distribute by 子句可以做这件事。distribute by 类似 MR 中 partition
（自定义分区），进行分区，结合 sort by 使用。
对于 distribute by 进行测试，一定要分配多 reduce 进行处理，否则无法看到 distribute
by 的效果。
1）案例实操：
（1）先按照部门编号分区，再按照员工编号降序排序。

set mapreduce.job.reduces=3;
insert overwrite local directory 
'/opt/module/data/distribute-result' select * from emp distribute by 
deptno sort by empno desc;

注意：
➢ distribute by 的分区规则是根据分区字段的 hash 码与 reduce 的个数进行模除后，
余数相同的分到一个区。
➢ Hive 要求 DISTRIBUTE BY 语句要写在 SORT BY 语句之前。
6.4.6 Cluster By
当 distribute by 和 sorts by 字段相同时，可以使用 cluster by 方式。
cluster by 除了具有 distribute by 的功能外还兼具 sort by 的功能。但是排序只能是升序
排序，不能指定排序规则为 ASC 或者 DESC。
（1）以下两种写法等价
select * from emp cluster by deptno;
select * from emp distribute by deptno sort by deptno;
注意：按照部门编号分区，不一定就是固定死的数值，可以是 20 号和 30 号部门分到一
个分区里面去。

---

总结

这次博客就到这里，这个查询和sql很类似，也是顺便复习一下。