hive自定义UDF函数

一、自定义函数流程

要想在Hive中完成自定义函数的操作，要按照如下的流程进行操作：

定义Java类并实现org.apache.hadoop.hive.ql.exec.UDF——>覆写evaluate——>将Java工程上传到Hive所在服务器(我这里是CentOS 6.5)——>启动Hadoop和Hive——>在Hive的命令行中输入add jar "你的Jar包所在路径"——>在命令行中输入"CREATE TEMPORARY FUNCTION 方法名 as 'Java完整类名(包含包名)' "来创建关联到Java类的Hive函数——>在Hive命令行中执行查询语句：select id, 方法名(name) from 表名——得出自定义函数输出的结果。

二、自定义函数实现

流程清楚了，那接下来我们就来实现Hive的自定义函数。

1、创建Java类

这里我们新建一个Java工程，并将HIVE_HOME/lib下的所有Jar包导入到Java工程的classpath下，创建Java类如下：

 

1. package com.lyz.bigdata;

2.  

3. import org.apache.hadoop.hive.ql.exec.UDF;

4.  

5. /**

6. * 自定义Hive函数，需要继承org.apache.hadoop.hive.ql.exec.UDF

7. * 并覆写evaluate方法

8. * @author liuyazhuang

9. *

10. */

11. public class StringExt extends UDF{

12.  

13. public String evaluate(String pnb){

14. return "Hello " + pnb;

15. }

16. }

这个类的实现很简单，继承了org.apache.hadoop.hive.ql.exec.UDF类，并覆写了evaluate方法，方法的实现也很简单，就是无论输入什么字符串，都在字符串的前面加上Hello

 

2、打包上传

这里我们将Java工程在Eclipse下打包成Jar包hiveext.jar，并上传到服务器的/usr/local/hive_data路径下，如下图所示：

3、启动Hadoop和Hive

为了方便，我这里在一个单节点上部署的Hadoop和Hive，在命令行中输入如下命令分别启动Hadoop和Hive

 

1. start-dfs.sh

2. start-yarn.sh

3. hive

前提是hadoop和hive都配置到了系统环境变量中。

 

4、将jar包导入到Hive的class path

在Hive命令行中输入如下命令：

 

add jar /usr/local/hive_data/hiveext.jar;

将hiveext.jar导入Hive的class_path，如下图所示：

 

5、创建关联到Java类的Hive函数

在命令行数输入如下命令：

 

create temporary function stringext as 'com.lyz.bigdata.StringExt';

如下图所示：

 

此时，自定义的Hive函数就关联到了Java类上。

6、运行结果

为了方便，这里我就直接用之前创建的一张表来给大家运行自定义函数的结果，首先，我们先来看没有使用自定义函数之前的结果，接下来我们再看运行了自定义函数的结果。

6.1 运行不包含自定义函数的结果：

在命令行中输入命令：

 

select id, name, rl, price from t_order_ext;

结果如下图所示：

 

可以看出就是一个普通的查询语句，没有使用任何自定义函数。

6.2 运行包含自定义函数的结果

在命令行中输入命令：

 

select id, stringext(name),rl, price from t_order_ext;

 

如下图所示：

可以看出：运行包含了自定义函数的查询语句，在name字段输出的结果前面加上了Hello。

三、注意事项

按照本文的实现方式，通过如下命令：

 

1. add jar /usr/local/hive_data/hiveext.jar;

2. create temporary function stringext as 'com.lyz.bigdata.StringExt';

来创建自定义函数，一旦退出Hive，重新启动并进入Hive命令行，上述自定义的函数就会失效，要想自定义函数不失效，则需要将导出的Jar包放到HIVE_HOME/lib目录下

 

至此，Hive自定义函数实现完毕。