Hive进阶(上)
Hive进阶(上)
Hive进阶(上)
执行数据导入
使用Load语句
语法：
1.LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1,partcol2=val2 ...)]
说明：
[LOCAL]：从操作系统中的一个目录中进行导入，如果不写LOCAL则为hdfs的数据导入
INPATH：为导入的路径，后面指明文件目录路径，如不指明文件名，则将目录下的所有文件进行导入
[OVERWRITE]：是否要覆盖表中已经存在的数据
INTO TABLE：后面跟表名，如果导入的是个分区表，还可以通过PARTITION指明导入到哪个分区当中
数据查询排序
语法：
1.SELECT [ALL | DISTINCT] select_expr,select_expr,...
2.FROM table_reference
3.[WHERE where_condition]
4.[GROUP BY col_list]
5.[CLUSTER BY col_list
6. |[DISTRIBUTE BY col_list][SORT BY col_list]
7. |[ORDER BY col_list]]
8.[LIMIT number]
DISTRIBUTE BY：指定分发器(Partitioner)，多Reducer可用
使用where执行过滤
使用order by执行排序，要降序操作只需要在后面加上desc，若想在查询的时候使用列序号，可以执行set hive.groupby.orderby.position.alias=true;
简单查询的Fetch Task功能
在此状态下就不会开启Map Reduce作业，从Hive0.10.0版本开始支持
配置方式：
set hive.fetch.task.conversion=more;hive --hiveconf hive.fectch.task.conversion=more- 修改hive-site.xml文件(永久生效)
Hive的内置函数
数学函数
1.--四舍五入
2.select round(45.926,2),round(45.926,1),round(45.926,0),round(45.926,-1),round(45.926,-2);
执行结果：
1.45.93 45.9 46.0 50.0 0.0
1.--向上取整
2.select ceil(45.926);
执行结果：
1.46
1.--向下取整
2.select floor(45.926);
执行结果：
1.45
字符函数
大小写：
1.select lower('Hello World'),upper('Hello World');
执行结果：
1.hello world HELLO WORLD
字符数：
1.select length('Hello World'),length('你好');
执行结果：
1.11 2
拼加字符串：
1.select concat('Hello',' World')
执行结果：
1.Hello World
求子串：
substr(a,b)：从a中，第b位开始取，取右边所有的字符
1.select substr('Hello World',3);
执行结果：
1.llo World
substr(a,b,c)：从a中，第b位开始取，取c个字符
1.select substr('Hello World',3,4);
执行结果：
1.llo
去掉前后的空格：trim()
左填充：lpad()
右填充：rpad()
1.select lpad('abcd',10,'*'),rpad('abcd',10,'*');
执行结果：
1.******abcd abcd******
收集函数和转换函数
- 收集函数size()
1.select size(map(<key,value>,<key,value>...))
- 转换函数cast()
1.select cast(1 as float);
日期函数
- to_date ：取出一个字符串中日期的部分
- year ：取出一个日期中的年
- month ：取出一个日期中的月
- day ：取出一个日期的日
- weekofyear ：返回一年中的第几周
- datediff ：两个日期之间的相隔天数
- date_add ：日期之上加上几天
- data_sub ：日期之上减去几天
条件函数
coalesce：从左到右返回第一个不为null的值case...when...：条件表达式
1.CASE a WHEN b THEN c [WHEN d THEN e]*[ELSE f] END
例如：
1.给员工涨工资，总裁1000，经理800，其他400
2.
3.select ename,job.sal,
4. case job when 'PRESIDENT' then sal+1000
5. when 'MANAGER' then sal+800
6. else sal+400
7. end
8.from emp;
当然上面写法是为了好看，在hive把换行符去掉即可
聚合函数和表生成函数
- 聚合函数
- count：求个数
- sum：求和
- min：求最小值
- max：求最大值
- avg：求平均
- 表生成函数
- explode
例如：
- explode
1.select explode(map(1,'Tom',2,'Mary',3,'Mike'));
执行：
1.1 Tom
2.2 Mary
3.3 Mike