hive 自定义函数UDF,UDAF
自定义函数
在hive中，有时候一些内置的函数，和普通的查询操作已经满足不了我们要查询的要求，这时候可以自己写一些自定义函数来处理。自定义函数（user defined function =UDF）
由于hive本身是用java语言开发，所以udf必须用java来写才可以。
Hive中有三种UDF
1. 普通udf（UDF）
操作单个数据行，且产生一个数据作为输出。例如（数学函数，字符串函数）
2. 聚合udf （UDAF）
接受多个数据行，并产生一个数据行作为输出。例如（COUNT，MAX函数等）
3. 表生成UDF(UDTF)
接受一个数据行，然后返回产生多个数据行（一个表作为输出）。比如lateral view（据说是一个将行转成列的函数）。
编写UDF
编写UDF必须满足一下:
1. 必须是org.apache.hadoop.hive.ql.exec.UDF的子类
2. 必须实现evaluate函数。
1. strip UDF
java code
package com.hcr.hadoop.hive;
import org.apache.commons.lang.StringUtils;
import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;
public class Strip extends UDF {
public Text evaluate(String str) {
return str == null ? null : new Text(StringUtils.strip(str));
}
public Text evaluate(String str,String chrStr) {
return str == null ? null : new Text(StringUtils.strip(str,chrStr));
}
}
写完代码打成jar包hcr.jar
hive> add jar/root/hcr/tmp/hcr.jar; Added /root/hcr/tmp/hcr.jar to class path Added resource: /root/hcr/tmp/hcr.jar
声明strip函数
create temporary function strip as 'com.hcr.hadoop.hive.Strip'; select year,strip(name,'ruishen') from records2;
原数据
1990 ruishenh0 1992 ruishenh2 1991 ruishenh1 1993 ruishenh3 1994 ruishenh4 1995 ruishenh5 1996 ruishenh6 1997 ruishenh7 1998 ruishenh8
执行完后显示
1990 0 1992 2 1991 1 1993 3 1994 4 1995 5 1996 6 1997 7 1998 8
编写UDAF
编写UDAF必须满足一下:
1. 必须是org.apache.hadoop.hive.ql.exec.UDAF的子类
2. 且包含一个或多个嵌套的，实现了org.apache.hadoop.hive.ql.exec.UDAFEvaluator的静态类
3. 如果是计算函数必须包含如下5个函数
a) Init()
初始化计算函数和内部数据结构状态等。
b) Iterate()
每一个新值调用聚集计算时都会调用这个函数。计算函数要聚集计算的结果更新其内部状态，iterate函数接受的参数和hive中被调用函数的参数是对应的。
c) terminatePartial()
这个就是取计算到当前（局部）的时候的数据对象函数。（比如1-10。计算5的时候要调用一下这个函数查看一下当前的内部结构对象也就是1-5的聚合结果）
d) merge()
在hive决定要合并一个部分聚集值和另一个部分聚集值是会调用merge（）方法，该方法接受一个对象输入，这个对象的类型必须和terminatePartial()返回的一致。
e) terminate()
hive需要最终聚集结果时会调用terminate方法，计算函数需要把状态作为一个值返回。
实例UDAF（一）
package com.hcr.hadoop.hive;
import org.apache.hadoop.hive.ql.exec.UDAF;
import org.apache.hadoop.hive.ql.exec.UDAFEvaluator;
import org.apache.hadoop.io.IntWritable;
public class Maxinum extends UDAF {
public static class MaxinumIntUDAFEvaluator implements UDAFEvaluator {
private IntWritable result;
@Override
public void init() {
result = null;
}
public boolean iterate(IntWritable value) {
if (value == null) {
return true;
}
if (result == null) {
result = new IntWritable(value.get());
} else {
System.out.println("result:"+result+",value:"+value);
result.set(Math.max(result.get(), value.get()));
}
return true;
}
public IntWritable terminatePartial() {
return result;
}
public boolean merge(IntWritable value) {
System.out.println("merge-result:"+result);
return iterate(value);
}
public IntWritable terminate() {
System.out.println("terminate-result:"+result);
return result;
}
}
}
hive> add jar /root/hcr/tmp/hcr.jar; Added /root/hcr/tmp/hcr.jar to class path Added resource: /root/hcr/tmp/hcr.jar hive> create temporary function maxinum as 'com.hcr.hadoop.hive.Maxinum'; OK Time taken: 0.192 seconds hive> select maxinum(temperature) fromrecords; 58
实例UDAF（二）
package com.hcr.hadoop.hive;
import org.apache.hadoop.hive.ql.exec.UDAF;
import org.apache.hadoop.hive.ql.exec.UDAFEvaluator;
import org.apache.hadoop.hive.serde2.io.DoubleWritable;
public class Mean extends UDAF {
public static class MeanDoubleUDAFEvaluator implements UDAFEvaluator {
public static class PartialResult {
double sum;
long count;
}
private PartialResult partial;
@Override
public void init() {
partial = null;
}
public boolean iterate(DoubleWritable value) {
if (value == null) {
return true;
}
if (partial == null) {
partial = new PartialResult();
}
partial.sum += value.get();
partial.count++;
return true;
}
public PartialResult terminatePartial() {
return partial;
}
public boolean merge(PartialResult value) {
if (value == null) {
return true;
}
if (partial == null) {
partial = new PartialResult();
}
partial.sum += value.sum;
partial.count += value.count;
return true;
}
public DoubleWritable terminate() {
if (partial == null)
return null;
return new DoubleWritable(partial.sum / partial.count);
}
}
}
hive> add jar /root/hcr/tmp/hcr.jar; Added /root/hcr/tmp/hcr.jar to class path Added resource: /root/hcr/tmp/hcr.jar hive> create temporary function mean as'com.hcr.hadoop.hive.Mean'; OK Time taken: 0.198 seconds hive>ALTER TABLE records CHANGE COLUMN temperature temperature double; hive> select mean(temperature) from records; OK 43.916666666666664 Time taken: 20.769 seconds hive>
关于很多系统内置的UDAF函数可以在下边这个类中查看注册的UDF和UDAF等
org.apache.hadoop.hive.ql.exec.FunctionRegistry
参照hive内部的写法
先写一个resolver类，然后便写evaluator（GenericUDAFEvaluator的子类）类
参靠：
http://www.cnblogs.com/ggjucheng/archive/2013/02/01/2888051.html
https://cwiki.apache.org/confluence/display/Hive/GenericUDAFCaseStudy#GenericUDAFCaseStudy-Preliminaries