Hive学习-Hive基本操作（function、udf）

该篇主要是为了整理常用的function使用和开发自定义function的，hive虽说语法类似于mysql，但是mysql默认的dual表并不存在，需要自己手动创建一下，为了方便测试：

hive>create table  dual(x string);

hive>insert into dual values('');

1、查询function列表

hive> show functions;

2、查询制定function的详细说明

3、upper、lower大小写转换

4、unix_timestamp获取制定时间毫秒数，默认是当前时间戳

5、current_date查看当前日期

6、current_timestamp查看当前时间戳

7、to_date字符串转成日期，必须是标准格式

8、year、month、day

9、from_unixtime将long类型转换为时间，可以指定格式

10、substr/substring字符串截取

11、concat字符串连接

12、concat_ws将字符串用指定分隔符连接

13、split分割字符串，根据指定字符分割字符串，分割字符可以是正则表达式

14、explode把数组或者map转成列，posexplode同explode，但会额外增加一列标识转化列所处数组的位置

现存在如下表：

要求计算该表中的单词出现的频率，即mr的wordcount示例

实现SQL如下，实现过程就是先用split分割，然后用explode转化，再作为临时表查询，拓展一下如果单词分割不仅仅只有逗号，或者空格、引号等可以用正则表达式实现或者用多重split。经过看官网的介绍，还有一个黑科技（sentences方法），能直接根据语言习惯自动分割成单词：

15、json_tuple解析json字符串

现在存在如下表：

要求按照格式userid，movie，rate，time，year，month，day，hour，minute，ts并按照月份写到分区表中。实现过程如下：

建表：

hive> create table movie(userid int,movie int,rate int,time string,year int,month int,day int,hour   int,minute int,ts timestamp)

   >partitioned by (m string)

   >row format delimited fields terminated by '/t';

数据写入，其中数据处理用到了字符串转bigint（cast），bigint转时间戳（from_unixtime），时间戳转字符串（date_format）：

校验：

表中数据

HDFS存储

16、row_number函数

分组排序使用

现有如下数据表：

需求：按年龄大小查出男和女最大年龄的两个

17、自定义UDF函数（临时）

idea新建maven项目

编辑pom.xml文件

1）修改打包类型，默认是war包，这里需要的是jar包

2）定义hive和hadoop的版本号，方便其他地方引用，因为用的是cdh版本的hadoop和hive，所以需要添加cdh的资源库

3）添加hadoop和hive的依赖

新建class继承org.apache.hadoop.hive.ql.udf.generic.GenericUDF类，方法如下：

打包

view-->Tool Windows-->Maven Project，双击package直接打包成jar文件

上传到linix，然后hive下执行以下命令：

hive> add jar /home/hadoop/lib/hive-1.0.jar;

hive> CREATE TEMPORARY FUNCTION calculateStringsLength as 'com.ruozedata.HelloUDF';

测试：

18、自定义UDF函数（永久）

$ hdfs dfs -mkdir /lib

$ hdfs dfs -put hive-1.0.jar /lib/