Hive的用户自定义函数实现步骤与流程

面试题来源:

《大数据面试题 V4.0》

大数据面试题V3.0,523道题,679页,46w字

参考答案:

1、如何构建UDF?

用户创建的UDF使用过程如下:

第一步:继承UDF或者UDAF或者UDTF,实现特定的方法;

第二步:将写好的类打包为jar,如hivefirst.jar;

第三步:进入到Hive外壳环境中,利用add jar /home/hadoop/hivefirst.jar注册该jar文件;

第四步:为该类起一个别名,create temporary function mylength as 'com.whut.StringLength',这里注意UDF只是为这个Hive会话临时定义的;

第五步:在select中使用mylength()。

2、函数自定义实现步骤

1)继承Hive提供的类

org.apache.hadoop.hive.ql.udf.generic.GenericUDF 
org.apache.hadoop.hive.ql.udf.generic.GenericUDTF

2)实现类中的抽象方法

3)在 hive 的命令行窗口创建函数添加 jar

add jar linux_jar_path 	
# 创建 function
create [temporary] function [dbname.]function_name AS class_name; 

4)在 hive 的命令行窗口删除函数

drop [temporary] function [if exists] [dbname.]function_name;

3、自定义UDF案例

1)需求

自定义一个UDF实现计算给定字符串的长度,例如:

hive(default)> select my_len("abcd"); 
4

2)导入依赖


	
		org.apache.hive
		hive-exec
		3.1.2
	

3)创建一个类,继承于Hive自带的UDF

/**
* 自定义 UDF 函数,需要继承 GenericUDF 类
* 需求: 计算指定字符串的长度
*/
public class MyStringLength extends GenericUDF {
	/**
	*
	*@param arguments 输入参数类型的鉴别器对象
	* @return 返回值类型的鉴别器对象
	*@throws UDFArgumentException
	*/
	@Override
	public ObjectInspector initialize(ObjectInspector[] arguments) throws UDFArgumentException {
		// 判断输入参数的个数
		if(arguments.length !=1) {
			throw new UDFArgumentLengthException("Input Args Length Error!!!");
		}
// 判断输入参数的类型

		if(!arguments[0].getCategory().equals(ObjectInspector.Category.PRIMITIVE)
		  ) {
			throw new UDFArgumentTypeException(0,"Input Args Type Error!!!");
		}
//函数本身返回值为 int,需要返回 int 类型的鉴别器对象
		return PrimitiveObjectInspectorFactory.javaIntObjectInspector;
	}

	/**
	* 函数的逻辑处理
	*@param arguments 输入的参数
	*@return 返回值
	*@throws HiveException
	*/
	@Override
	public Object evaluate(DeferredObject[] arguments) throws HiveException {
		if(arguments[0].get() == null) {
			return 0;
		}
		return arguments[0].get().toString().length();
	}

	@Override
	public String getDisplayString(String[] children) {
		return "";
	}
}

4)打成jar包上传到服务器/opt/module/data/myudf.jar

5)将jar包添加到hive的classpath

hive (default)> add jar /opt/module/data/myudf.jar; 

6)创建临时函数与开发好的java class关联

7)即可在hql中使用自定义的函数

hive (default)> select ename,my_len(ename) ename_len from emp;

你可能感兴趣的:(大数据面试题,Hive,hive,大数据,面试)