常用hive函数集锦
一、关系函数
1.等值比較：=
语法：A=B
操作类型：全部基本类型
2.不等值比較：<>
语法：A<>B
操作类型：全部基本类型
3.小于比較：<
语法：A
4.空值推断：IS NULL
语法：a is null
操作类型：全部类型
5.非空推断：IS NOT NULL
语法：a is not null
操作类型：全部基本类型
6.LIKE比較：LIKE
语法：A LIKE B
操作类型：strings
7.JAVA的LIKE操作：RLIKE
语法：A RLIKE B
操作类型：strings
描写叙述：假设字符串A或者字符串B为NULL。则返回NULL；假设字符串符合
JAVA正則表達式B的正则语法，则为TRUE，否则为FALSE。
8.REGEXP操作：REGEXP
语法：A REGEXP B
操作类型：strings
描写叙述：功能与RLIKE同样
二、数学运算
1.加法操作：+
语法：A+B
操作类型：全部数值类型
2.减法操作：-
语法：A-B
操作类型：全部数值类型
3.取余操作：%
语法：A%B
操作类型：全部数值类型
4.位与操作：&
语法：A&B
操作类型：全部数值类型
5.位或操作：|
语法：A|B
操作类型：全部数值类型
6.位异或操作：^
语法：A^B
操作类型：全部数值类型
说明：返回A和B按位进行异或操作的结果。结果的数值类型等于A的类型
和B的类型的最小父类型。
举例：
hive>select 4^8 from sun_test;
12
hive>select 6^4 from sun_test;
2
7.位取反操作：~
语法：~A
操作类型：全部数值类型
三、逻辑运算
1.逻辑与操作：AND
语法：A AND B
操作类型：boolean
2.逻辑或操作：OR
语法：A OR B
操作类型：boolean
3.逻辑非操作：NOT
语法：NOT A
操作类型：boolean
四、数值计算
1.取整函数：round
语法：round(double a)
返回值：BIGINT
说明：返回double类型的整数值部分（遵循四舍五入）
举例：
hive>select round(3.14) from sun_test;
3
hive>select round(3.23456,3) from sun_test;
3.234
2.向下取整函数：floor
说明：返回等于或者小于该double变量的最大的整数
hive>select floor(3.56) from sun_test;
3
3.向上取整函数：cel=il/ceiling
说明：返回等于或者大于该double变量的最小的整数
hive>select ceil(3.123) from sun_test;
4
4.取随机数函数：rand
说明：返回一个0到1范围内的随机数。
hive>select rand() from sun_test;
0.43253251532532
5.自然指数函数exp
说明：返回自然对数e的a次方
hive>select exp(2) from sun_test;
7.38905609893065
6.以10为底对数函数:log10
语法：log10(100)=2.0
7.幂运算函数：pow/power
语法：pow(2,3)=8
8.开平方函数：sqrt
语法：sqrt(16)=4
9.十六进制函数：hex
语法：hex(BIGINT a)
说明：假设变量时int类型。那么返回a的16进制表示；假设变量时string类型，
则返回该字符串的10进制表示
hive>select hex(17) from sun_test;
11
hive>select hex('abc') from sun_test;
616263
10.进制转换函数：conv
conv(17,10,16)=11
conv(17,10,2)=10001
11.绝对值函数：abs
conv(-3.3)=3.3
五、字符串函数
1.字符串长度函数：length
length('acbfa')=5
2.字符串反转函数：reverse
reverse('abcde')=edcba
3.字符串链接函数：concat
concat('aa','bb','cc')=aabbcc
4.带分隔符字符串连接函数：concat_ws
concat_ws(',','aaa','bbb','ccc')=aaa,bbb,ccc
5.字符串截取函数：substr,substring
substr('abcde',3)=cde
substr('abcde',-1)=e
substr('abcde',-2,2)=de
substr('abcde',3,2)=cd
6.字符串转大写函数：upper,ucase
7.字符串转小写函数：lower,lcase
8.去空格函数：trim()、ltrim()、rtrim()
9.正則表達式替换函数：regexp_replace
regexp_replace('foobar','oo|ar','')=fb
10.正則表達式解析函数：regexp_extract
语法: regexp_extract(string subject, string pattern, int index)
返回值: string
说明：将字符串subject依照pattern正則表達式的规则拆分，返回index指定的字符。
举例：
hive> select regexp_extract('foothebar', 'foo(.*?
)(bar)', 1) fromlxw_dual;
the
hive> select regexp_extract('foothebar', 'foo(.*?)(bar)', 2) fromlxw_dual;
bar
hive> select regexp_extract('foothebar', 'foo(.*?
)(bar)', 0) fromlxw_dual;
foothebar
注意。在有些情况下要使用转义字符，以下的等号要用双竖线转义，这是java正則表達式的规则。
select data_field,
regexp_extract(data_field,'.*?bgStart\\=([^&]+)',1) as aaa,
regexp_extract(data_field,'.*?contentLoaded_headStart\\=([^&]+)',1) as bbb,
regexp_extract(data_field,'.*?AppLoad2Req\\=([^&]+)',1) as ccc
from pt_nginx_loginlog_st
where pt = '2012-03-26'limit 2;
14. URL解析函数：parse_url
语法: parse_url(string urlString, string partToExtract [, stringkeyToExtract])
返回值: string
说明：返回URL中指定的部分。
partToExtract的有效值为：HOST, PATH, QUERY, REF, PROTOCOL, AUTHORITY, FILE, and USERINFO.
举例：
hive> selectparse_url('http://facebook.com/path1/p.php?k1=v1&k2=v2#Ref1', 'HOST') fromlxw_dual;
facebook.com
hive> selectparse_url('http://facebook.com/path1/p.php?k1=v1&k2=v2#Ref1', 'QUERY','k1') from lxw_dual;
v1
15. json解析函数：get_json_object
语法: get_json_object(string json_string, string path)
返回值: string
说明：解析json的字符串json_string,返回path指定的内容。假设输入的json字符串无效，那么返回NULL。
举例：
hive> select get_json_object('{"store":
> {"fruit":\[{"weight":8,"type":"apple"},{"weight":9,"type":"pear"}],
> "bicycle":{"price":19.95,"color":"red"}
> },
> "email":"amy@only_for_json_udf_test.net",
> "owner":"amy"
> }
> ','$.owner') from lxw_dual;
amy
六、其他
1.切割字符串函数：split
2.个数统计函数：count
3.总和统计函数：sum
4.平均值统计函数：avg
5.最小值统计函数：min
6.最大值统计函数：max
7.类型转换函数：cast