自定义UDTF函数创建（仿照split函数切分完进行炸裂）

我们都知道split切分完之后返回的是数组，我们再将数组进行遍历拿出。

需求：说明自定义一个 UDTF 实现将一个任意分割符的字符串切割成独立的单词，例如：

Line:"hello,world,hadoop,hive"

Myudtf(line, ",")
hello
world
hadoop
hive

代码：

package com.fengrui.udtf;

import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;

import java.util.ArrayList;
import java.util.List;

/**
 * 需求说明自定义一个 UDTF 实现将一个任意分割符的字符串切割成独立的单词，例如：
 * Line:"hello,world,hadoop,hive"
 *
 * Myudtf(line, ",")
 *  hello
 *  world
 *  hadoop
 *  hive
 */
public class MyUDTF extends GenericUDTF {

    private List dataList = new ArrayList();

    /**
     * 初始化方法
     * @param argOIs
     * @return
     * @throws UDFArgumentException
     */
    @Override
    public StructObjectInspector initialize(StructObjectInspector argOIs) throws UDFArgumentException {

        //定义输出类型的列名
        List fieldNames = new ArrayList();
        //一般我们都是取别名了把列，所以这个不影响，比如select split(****) s;如果我们不取别名默认就是words
        fieldNames.add("words");

        //定义输出数据的类型,如果是int就为javaIntObjectInspector
        List fieldOIs = new ArrayList();
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);

        return ObjectInspectorFactory.getStandardStructObjectInspector(fieldNames,fieldOIs);
    }

    /**
     * 核心方法，写业务逻辑
     * @param args
     * @throws HiveException
     */
    public void process(Object[] args) throws HiveException {

        //1.获取数据
        String data = args[0].toString();

        //2.获取分隔符
        String splitKey = args[1].toString();

        //3.切分数据
        String[] words = data.split(splitKey);

        //4.遍历写出
        for (String word : words) {
            //因为我们输入类型为集合，所以我们输出的类型也得是集合，所以我们new一个全局集合

            //因为集合要复用，每一行进来处理完 清空集合 以后处理下一行
            dataList.clear();
            dataList.add(word);

            //5.写出操作，系统自带的，相当于map阶段写出时的context.write()
            forward(dataList);
        }

    }

    /**
     * 如果有用到IO流，可以在该方法中关闭
     * @throws HiveException
     */
    public void close() throws HiveException {

    }
}

打成jar包放到Linux服务器 /root/Jar_File/myhive/hive-1.0-SNAPSHOT.jar

将jar包添加到hive的classpath

hive (default)> add jar /root/Jar_File/myhive/hive-1.0-SNAPSHOT.jar;

创建临时函数与开发好的Javaclass关联

hive (default)> create temporary function qiefen as 'com.fengrui.udtf.MyUDTF';

在sql中使用自定义函数

hive (default)> select qiefen('hello/word/hello/java/hello/hadoop','/');

我们看到我们没有给列名取别名的时候是默认代码中添加的words

列名取别名

hive (default)> select qiefen('hello/word/hello/java/hello/hadoop','/') new_words;