Hive学习笔记，hive自定义函数的使用
本文参考自互联网，并进行结合后整理如下：
Hive自定义函数，用于处理一些比较复杂的数据处理，
比如有如下数据：
27.19.74.143-[29/April/2016:17:38:20 +0800]-"GET /static/image/common/faq.gif HTTP/1.1"-200-1127
110.52.250.126-[29/April/2016:17:38:20 +0800]-"GET /data/cache/style_1_widthauto.css?y7a-HTTP/1.1"-200-1292
27.19.74.143-[29/April/2016:17:38:20 +0800]-"GET /static/image/common/hot_1.gif HTTP/1.1"-200-680
27.19.74.143-[29/April/2016:17:38:20 +0800]-"GET /static/image/common/hot_2.gif HTTP/1.1"-200-682
27.19.74.143-[29/April/2016:17:38:20 +0800]-"GET /static/image/filetype/common.gif HTTP/1.1"-200-90
110.52.250.126-[29/April/2016:17:38:20 +0800]-"GET /source/plugin/wsh_wx/img/wsh_zk.css HTTP/1.1"-200-1482
110.52.250.126-[29/April/2016:17:38:20 +0800]-"GET /data/cache/style_1_forum_index.css?y7a HTTP/1.1"-200-2331
110.52.250.126-[29/April/2016:17:38:20 +0800]-"GET /source/plugin/wsh_wx/img/wx_jqr.gif HTTP/1.1"-200-1770
27.19.74.143-[29/April/2016:17:38:20 +0800]-"GET /static/image/common/recommend_1.gif HTTP/1.1"-200-1028
110.52.250.126-[29/April/2016:17:38:20 +0800]-"GET /static/image/common/logo.png HTTP/1.1"-200-4542
--一共5个字段，分别表示：”host”、”time”、”request”、”status”、”size”
create table t_log3(host string, time string,request string,status int,size int)
row format delimited
fields terminated by '-';
需要将时间格式转为如下形式：
于是，进行自定义函数，将字段作为参数，传入函数中进行处理后，返回。
使用java开发，自定义函数中的逻辑处理，然后打成jar包，在hive加入这个jar包，并创建函数，指向这个jar包中的逻辑处理类即可。
第一步，开发jar包
直接建立普通的javaSE工程即可，lib目录下，直接将hive包下的lib(除去PHP，py文件夹下的jar，全部加入即可)
package com.imooc.hive.myfun;
import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.Locale;
import org.apache.hadoop.hive.ql.exec.UDF;
/**
* @author ruimeng
* @version 创建时间：2019年2月16日 下午4:13:32
* 类说明 :
* 自定义hive函数
*/
public class SelfFunction extends UDF {
//给方法输入参数，这个输入参数，就是字符串[29/April/2016:17:38:20 +0800]，在hive中存储时，已经将每条日志信息切割成几个字段了
public String evaluate(String s){
SimpleDateFormat formator = new SimpleDateFormat("dd/MMMMM/yyyy:HH:mm:ss Z",Locale.ENGLISH);
if(s.indexOf("[")>-1){
s = s.replace("[", "");
}
if(s.indexOf("]")>-1){
s = s.replace("]", "");
}
try {
//将输入的string转换成date数据类型
Date date = formator.parse(s);
SimpleDateFormat rformator = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
return rformator.format(date);
} catch (ParseException e) {
e.printStackTrace();
return "";
}
}
}
导出jar包，不需要包含lib目录下的jar包，
第二步，上传jar包到服务器，hive中加入jar包，创建函数，指定处类
必须在hive窗口下执行: hive >
add jar /usr/hive/selfFunction.jar;
CREATE TEMPORARY FUNCTION timeparser AS 'com.imooc.hive.myfun.SelfFunction';
select timeparser(time) from t_log3 ;
注：临时函数只在一次hive会话中有效，重启会话后就无效
永久函数
如果需要经常使用该自定义函数，可以考虑创建永久函数：
拷贝jar包到hive的类路径中：
cp wc.jar apps/hive-1.2.1/lib/
创建了：
create function pfuncx as 'com.doit.hive.udf.UserInfoParser';
删除函数：
DROP TEMPORARY FUNCTION [IF EXISTS] function_name
DROP FUNCTION[IF EXISTS] function_name