Hive学习（八）函数

内置函数

1. show functions

2. desc function upper

3. desc function extended upper（详细）

    

自定义函数 UDF(user-defiened fuction)

1. UDF 一进一出

2. UDAF 聚集函数，多进一出

3. UDTF 一进多出

 

自定义函数

步骤：

1. 创建一个maven工程，并且导入jar（hive-exec）

2. UDF函数：创建一个类，并且继承 org.apache.hadoop.hive.ql.UDF，重写evaluate方法

public class LowerUDF extends UDF {

    public String evaluate (String s) {
        if (s == null) {
            return null;
        }
        return s.toLowerCase();
    }
}

3. 打包成jar，上传到服务器：add jar linux_jar_path，可直接放到hive的lib下，开机启动

add jar /opt/module/datas/udf.jar;

4. 创建临时函数与开发好的java class关联：create [temporary] function [dbname.]function_name as class_name;

create temporary function mylower as "LowerUDF";

5. 在HQL中使用自定义函数

select mylower(name) from student;

6. 删除函数：drop [temporary] function [if exists] [dbname.]function_name

drop temporary function if exists mylower;

自定义UDTF函数

需求： 自定义一个 UDTF 实现将一个任意分割符的字符串切割成独立的单词

public class MyUDTF extends GenericUDTF {
    private List outList = new ArrayList();

    @Override
    public StructObjectInspector initialize(StructObjectInspector argOIs) throws UDFArgumentException {
        //1.定义输出数据的列名和类型
        List fieldNames = new ArrayList();
        List fieldOIs = new ArrayList();

        //2.添加输出数据的列名和类型
        fieldNames.add("lineToWord");

        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);

        return ObjectInspectorFactory.getStandardStructObjectInspector(fieldNames, fieldOIs);
    }

    @Override
    public void process(Object[] args) throws HiveException {
        //1.获取原始数据
        String arg = args[0].toString();

        //2.获取数据传入的第二个参数，此处为分隔符
        String splitKey = args[1].toString();

        //3.将原始数据按照传入的分隔符进行切分
        String[] fields = arg.split(splitKey);

        //4.遍历切分后的结果，并写出
        for (String field : fields) {
            // 集合为复用的，首先清空集合
            outList.clear();
            // 将每一个单词添加至集合
            outList.add(field);
            // 将集合内容写出
            forward(outList);
        }
    }

    @Override
    public void close() throws HiveException {

    }
}