Hive数据类型、 explode、自定义UDF

Hive数据类型、 explode、自定义UDF

一、基本类型

二、复杂类型

三、数组类型 array
　　案例一、
　　元数据：
　　　100,200,300
　　　200,300,500
　　建表语句：create external table ex(vals array) row format delimited fields terminated by ‘\t’ collection items terminated by ‘,’ location ‘/ex’;
　　查询语句：
　　　查询每行数组的个数　select size(vals) from ex;
　　　select vals[0] from ex;查询的是第一行的数据。
　　注：hive 内置函数不具备查询某个具体行的数组元素。需要自定义函数来实现
　　案例二、
　　元数据：
　　　100,200,300 tom,jary
　　　200,300,500 rose,jack
　　建表语句：create external table ex1(info1 array,info2 array) row format delimited fields terminated by ‘\t’ collection items terminated by ‘,’ location
‘/ex’;
四、map类型
　　案例一、
　　元数据：
　　　tom,23
　　　rose,25
　　　jary,28
　　建表语句：
　　　create external table m1 (vals map) row format delimited fields terminated by ‘\t’ map keys terminated by ‘,’ location ‘/map’;
　　如果是map类型，列分隔符必须是\t
　　查询语句：select vals[‘tom’] from ex;
五、struct 类型（对象类型）
　　元数据：
　　　tom 23
　　　rose 22
　　　jary 26
　　建表语句：
　　　create external table ex (vals structname:string,age:int)row format delimited collection items terminated by ‘,’ location ‘/m1’;
　　查询语句：select vals.age from s1 where vals.name=‘tom’;
六、collect_set
　　collect_set 函数用于数据去重，并将结果形成数组返回
七、 explode
　　explode 命令可以将行数据，按指定规则切分出多行
　　原数据：
　　　100,200,300
　　　200,300,500
　　创建表：：create external table ex1 (num string) location ‘/ex’;
　　注：用explode做行切分，注意表里只有一列，并且行数据是string类型，因为只有字符类型才能做切分。
　　通过explode指令来做行切分：执行：select explode(split(num,’,’)) from ex1;
八、UDF
　　如果hive的内置函数不够用，我们也可以自己定义函数来使用，这样的函数称为hive的用户自定义函数，简称UDF。
　　实现步骤：
　　　1.新建java工程，导入hive相关包，导入hive相关的lib。
　　　2.创建类继承UDF
　　　3.自己编写一个evaluate方法，返回值和参数任意

import org.apache.hadoop.hive.ql.exec.UDF;

public class ToUpper extends UDF{
	public String evaluate(String str){
		return str.toUpperCase();
	｝
｝

4.为了能让mapreduce处理，String要用Text处理。
　　5.将写好的类打成jar包，上传到linux中
　　6.在hive命令行下，向hive注册UDF：add jar /xxxx/xxxx.jar
　　7.在hive命令行下，为当前udf起一个名字：create temporary function fname as ‘类的全路径名’;
　　8.之后就可以在hql中使用该自定义函数了。