Hive 内部提供了很多函数给开发者使用,包括数学函数,类型转换函数,条件函数,字符函数,聚合函数,表生成函数等等,这些函数都统称为内置函数。
在 hive 中可通过以下命令查看函数信息:
--显示所有的可用函数,包括运算符、内置函数、自定义函数
show functions;
--显示指定函数的描述信息
desc function trim;
--显示指定函数的详细信息
desc function extended trim;
语法:A = B
操作类型:基本类型
描述:如果表达式 A 与表达式 B 相等,则为 TRUE;否则为 FALSE。
select 1 where 1 = 1;
1
语法:A <> B
操作类型:基本类型
描述:如果表达式 A 或表达式 B 为 NULL,则返回 NULL;如果表达式 A 与 表达式 B 不相等,则为 TRUE;否则为 FALSE。
select 1 where 1 <> 2;
1
语法:A < B
操作类型:基本类型
描述:如果表达式 A 或表达式 B 为 NULL,则返回 NULL;如果表达式 A 小于表达式 B,则为 TRUE;否则为 FALSE。
select 1 where 1 < 2;
1
语法:A <= B
操作类型:基本类型
描述:如果表达式 A 或表达式 B 为 NULL,则返回 NULL;如果表达式 A 小于或者等于表达式 B,则为 TRUE;否则为 FALSE。
select 1 where 1 <= 1;
1
语法:A > B
操作类型:基本类型
描述:如果表达式 A 或表达式 B 为 NULL,则返回 NULL;如果表达式 A 大于表达式 B,则为 TRUE;否则为 FALSE。
select 1 where 2 > 1;
1
语法:A >= B
操作类型:基本类型
描述:如果表达式 A 或表达式 B 为 NULL,则返回 NULL;如果表达式 A 大于或者等于表达式 B,则为 TRUE;否则为 FALSE。
select 1 where 1 >= 1;
1
语法:A IS NULL
操作类型:所有类型
描述:如果表达式 A 的值为 NULL,则为 TRUE;否则为 FALSE。
select 1 where null is null;
1
语法:A IS NOT NULL
操作类型:所有类型
描述:如果表达式 A 的值为 NULL,则为 FALSE;否则为 TRUE。
select 1 where 1 is null;
1
语法:A LIKE B
操作类型:字符类型
描述:如果字符串 A 或字符串 B 为 NULL,则返回 NULL;如果字符串 A 符合简单 SQL 正则表达式 B 的语法,则为 TRUE;否则为 FALSE。
字符 ”_” 表示任意单个字符
select 1 where 'football' like 'foot____';
1
字符 ”%” 表示任意数量的字符
select 1 where 'football' like 'foot%';
1
注意:否定比较时候用 NOT A LIKE B
select 1 where not 'football' like 'fff%';
1
语法:A RLIKE B
操作类型:字符类型
描述:如果字符串 A 或字符串 B 为 NULL,则返回 NULL;如果字符串 A 符合 JAVA 正则表达式 B 的正则语法,则为 TRUE;否则为 FALSE。
select 1 where 'football' rlike '^f.*l$';
1
语法:A REGEXP B
操作类型:字符类型
描述:功能与 RLIKE 相同
select 1 where 'football' regexp '^f.*l$';
1
语法:A + B
操作类型:数值类型
说明:返回 A 与 B 相加的结果。结果的数值类型等于 A 的类型和 B 的类型的最小父类型。比如,int + int 一般结果为 int 类型,而 int + double 一般结果为 double 类型。
select 1 + 2;
3
select 1 + 0.5;
1.5
语法:A - B
操作类型:数值类型
说明:返回 A 与 B 相减的结果。结果的数值类型等于 A 的类型和 B 的类型的最小父类型。比如,int - int 一般结果为 int 类型,而 int - double 一般结果为 double 类型。
select 3 - 2;
1
select 1.5 - 1;
0.5
语法:A * B
操作类型:数值类型
说明:返回 A 与 B 相乘的结果。结果的数值类型等于 A 的类型和 B 的类型的最小父类型。注意,如果 A 乘以 B 的结果超过默认结果类型的数值范围,则需要通过 cast 将结果转换成范围更大的数值类型。
select 3 * 8;
24
语法:A / B
操作类型:数值类型
说明:返回 A 除以 B 的结果。结果的数值类型为 double。
select 10 / 5;
2.0
注意:hive 中最高精度的数据类型是 double,只精确到小数点后16位,在做除法运算的时候要特别注意
语法:A % B
操作类型:数值类型
说明:返回 A 除以 B 的余数。结果的数值类型等于 A 的类型和 B 的类型的最小父类型。
select 5 % 2;
1
若对浮点数求余,可能会出现如下结果
select 4.2 % 2;
0.20000000000000018
注意:精度在 hive 中是个很大的问题,类似这样的操作最好通过 round 指定精度
select round(4.2 % 2, 2);
0.2
语法:A & B
操作类型:整数类型
说明:返回 A 和 B 按位进行与操作的结果。结果的数值类型等于 A 的类型和 B 的类型的最小父类型。
select 4 & 8;
0
select 6 & 4;
4
语法:A | B
操作类型:整数类型
说明:返回 A 和 B 按位进行或操作的结果。结果的数值类型等于 A 的类型和 B 的类型的最小父类型。
select 4 | 8;
12
select 6 | 8;
14
语法:A ^ B
操作类型:整数类型
说明:返回 A 和 B 按位进行异或操作的结果。结果的数值类型等于 A 的类型和 B 的类型的最小父类型。
select 4 ^ 8;
12
select 6 ^ 4;
2
语法:~ A
操作类型:整数类型
说明:返回 A 按位取反操作的结果。结果的数值类型等于 A 的类型。
select ~ 4;
-5
select ~ 6;
-7
语法:A AND B
操作类型:boolean
说明:如果 A 或 B 为 NULL,则返回 NULL;如果 A 和 B 均为 TRUE,则为 TRUE;否则为 FALSE。
select 1 where 1 = 1 and 2 = 2;
1
语法:A OR B
操作类型:boolean
说明:如果 A 或 B 为 NULL,则返回 NULL;如果 A 或 B 有一个为 TRUE,则为 TRUE;否则为 FALSE。
select 1 where 1 = 2 or 2 = 2;
1
语法:NOT A
操作类型:boolean
说明:如果 A 为 NULL,或者 A 为 FALSE,则为TRUE;否则为FALSE。
select 1 where not 1 = 2;
1
语法:IF(boolean testCondition, T valueTrue, T valueFalseOrNull)
返回类型:T
描述:当条件 testCondition 为 True 时,返回 valueTrue;否则返回 valueFalseOrNull。
select if(1 = 2, 100, 200);
200
语法: COALESCE(T v1, T v2, …)
返回类型:T
描述:返回参数中的第一个非空值;如果所有值都为 NULL,那么返回NULL。
select coalesce(null, '100', '50');
100
语法: CASE a WHEN b THEN c [WHEN d THEN e]* [ELSE f] END
返回类型:T
描述:如果 a 等于 b,那么返回 c;如果 a 等于 d,那么返回 e;否则返回 f。
select case 100 when 50 then 'tom' when 100 then 'jack' else 'mary' end
jack
语法: CASE WHEN a THEN b [WHEN c THEN d]* [ELSE e] END
返回类型:T
描述:如果 a 为 TRUE,则返回 b;如果 c 为 TRUE,则返回 d;否则返回 e。
select case when 1 = 2 then 'tom' when 2 = 2 then 'jack' else 'mary' end
jack
语法:round(double a)
返回类型:bigint
说明:返回 double 类型的整数值部分 (遵循四舍五入)
select round(3.1415926);
3
select round(3.5);
4
语法:round(double a)
返回类型:double
说明:返回指定精度 d 的 double 类型
select round(3.1415926, 4);
3.1416
语法:floor(double a)
返回类型:double
说明:返回不大于 a 的最大整数
select round(3.1415926, 4);
3
语法:ceil(double a)
返回类型:bigint
说明:返回不小于 a 的最小整数
select round(3.1415926, 4);
4
语法:ceiling(double a)
返回类型:bigint
说明:与 ceil 功能相同
select round(3.1415926, 4);
4
语法:rand(),rand(int seed)
返回类型:bigint
说明:返回一个 0 到 1 范围内的随机数。如果指定种子 seed,则会得到一个稳定的随机数序列。
select rand();
0.712311371683693
select rand(100);
0.7308781907032909
语法:exp(double a)
返回类型:double
说明:返回自然对数 e 的 a 次方
select exp(2);
7.38905609893065
语法:log10(double a)
返回类型:double
说明:返回以 10 为底的 a 的对数
select log10(100);
2.0
语法:log2(double a)
返回类型:double
说明:返回以 2 为底的 a 的对数
select log2(8);
3.0
语法:log2(double base, double a)
返回类型:double
说明:返回以 base 为底的 a 的对数
select log(2, 1024);
10.0
语法:pow(double a, double p)
返回类型:double
说明:返回以 a 的 p 次幂
select pow(2, 5);
32.0
语法:power(double a, double p)
返回类型:double
说明:返回以 a 的 p 次幂,与 pow 功能相同。
select pow(2, 10);
1024.0
语法:sqrt(double a)
返回类型:double
说明:返回 a 的 平方根
select sqrt(100);
10.0
语法:bin(bigint a)
返回类型:string
说明:返回 a 的 二进制代码表示
select bin(7);
111
语法:hex(bigint a)
返回类型:string
说明:如果变量是 int 类型,那么返回 a 的十六进制表示;如果变量是 string 类型,则返回该字符串的十六进制表示。
select hex(17);
11
select hex('abc');
616263
语法:unhex(string a)
返回类型:string
说明:返回该十六进制数或字符串所反转的字符串
select unhex(616263);
abc
select unhex('616263');
abc
语法:conv(bigint num, int from_base, int to_base)
返回类型:string
说明:将数值 num 从 from_base 进制转化到 to_base 进制
select conv(17, 10, 2);
10001
select conv(17, 10, 16);
11
语法:abs(int a ),absdouble a)
返回类型:int double
说明:返回数值 a 的绝对值
select abs(-1);
1
select abs(3.14);
3.14
语法:pmod(int a, int b),pmod(double a, double b)
返回类型:int double
说明:返回正的 a 除以 b 的余数
select pmod(9, 4);
1
select pmod(-9, 4);
3
语法:sin(double a)
返回类型:double
说明:返回 a 的正弦值
select sin(0.8);
0.7173560908995228
语法:asin(double a)
返回类型:double
说明:返回 a 的反正弦值
select sin(0.7173560908995228);
0.8
语法:cos(double a)
返回类型:double
说明:返回 a 的余弦值
select cos(0.8);
0.6967067093471654
语法:acos(double a)
返回类型:double
说明:返回 a 的反余弦值
select acos(0.6967067093471654);
0.8
语法:positive(int a),positive(double a)
返回类型:int double
说明:返回 a 自身
select positive(-1);
-1
select positive(3.14);
3.14
语法:negative(int a),negative(double a)
返回类型:int double
说明:返回 a 的相反数
select negative(-1);
1
select negative(3.14);
-3.14
语法:fom_unixtime(bigint unixtime[, string format])
返回类型:string
说明:转化 UNIX 时间戳(从1970-01-01 00:00:00 UTC 到指定时间的秒数)到当前时区的时间格式。
select from_unixtime(1590000000, 'yyyy-MM-dd');
2020-05-21
语法:unix_timestamp()
返回类型:bigint
说明:转获取当前时区的 UNIX 时间戳
select unix_timestamp();
1592361030
语法:unix_timestamp(string date)
返回类型:bigint
说明:转换格式为 “yyyy-MM-dd HH:mm:ss” 的日期到 UNIX 时间戳。如果转换失败,则返回 NULL。
select unix_timestamp('2020-05-21 02:40:00');
1590000000
语法:unix_timestamp(string date, string pattern)
返回类型:bigint
说明:转换 pattern 格式的日期到 UNIX 时间戳。如果转换失败,则返回 NULL。
select unix_timestamp('20200521 02:40:00', 'yyyyMMdd HH:mm:ss');
1590000000
语法:to_date(string timestamp)
返回类型:string
说明:返回日期时间字段中的日期部分。
select to_date('2020-05-21 02:40:00');
2020-05-21
语法:year(string date)
返回类型:int
说明:返回日期中的年份。
select year('2020-05-21 02:40:00');
2020
语法:month(string date)
返回类型:int
说明:返回日期中的月份。
select month('2020-05-21 02:40:00');
5
语法:day(string date)
返回类型:int
说明:返回日期中的天。
select day('2020-05-21 02:40:00');
21
语法:hour(string date)
返回类型:int
说明:返回日期中的小时。
select hour('2020-05-21 02:40:00');
2
语法:minute(string date)
返回类型:int
说明:返回日期中的分钟。
select minute('2020-05-21 02:40:00');
40
语法:second(string date)
返回类型:int
说明:返回日期中的秒。
select second('2020-05-21 02:40:00');
0
语法:weekofyear(string date)
返回类型:int
说明:返回日期在该年的周数。
select weekofyear('2020-05-21 02:40:00');
21
语法:datediff(string enddate, string startdate)
返回类型:int
说明:返回结束日期减去开始日期的天数。
select datediff('2020-05-21', '2020-01-01');
141
语法:date_add(string startdate, int days)
返回类型:string
说明:返回开始日期 startdate 增加 days 天后的日期。
select date_add('2020-05-21', 10);
2020-05-31
语法:date_sub(string startdate, int days)
返回类型:string
说明:返回开始日期 startdate 减少 days 天后的日期。
select date_sub('2020-05-21', 10);
2020-05-11
语法:length(string A)
操作类型:int
描述:返回字符串 A 的长度
select length('abcedfg');
7
语法:reverse(string A)
操作类型:string
描述:返回字符串 A 的反转结果
select reverse('abcedfg');
gfdecba
语法:concat(string A, string B…)
操作类型:string
描述:返回输入字符串连接后的结果,支持任意多个输入字符串。
select concat(‘abc’, 'def’, 'gh');
abcedfg
语法:concat_ws(string SEP, string A, string B…)
操作类型:string
描述:返回输入字符串连接后的结果,SEP 表示各个字符串间的分隔符。
select concat_ws(',', 'abc', 'def', 'gh');
abc,def,gh
语法:substr(string A, int start)
操作类型:string
描述:返回字符串 A 从 start 位置到结尾的字符串。
select substr('abcde', 3);
cde
select substring('abcde', -1);
e
语法:substr(string A, int start, int len)
操作类型:string
描述:返回字符串 A 从 start 位置开始,长度为 len 的字符串。
select substr('abcde', 3, 2);
cd
select substring('abcde', -2, 2);
de
语法:upper(string A)
操作类型:string
描述:返回字符串 A 的大写格式
select upper('Apple');
APPLE
语法:lower(string A)
操作类型:string
描述:返回字符串 A 的小写格式
select upper('Apple');
apple
语法:trim(string A)
操作类型:string
描述:去除字符串两边的空格
select trim(' abc ');
abc
语法:ltrim(string A)
操作类型:string
描述:去除字符串左边的空格
select ltrim(' abc ');
abc[空格]
语法:rtrim(string A)
操作类型:string
描述:去除字符串右边的空格
select rtrim(' abc ');
[空格]abc
语法:regexp_replace(string A, string B, string C)
操作类型:string
描述:将字符串 A 中的符合 Java 正则表达式 B 的部分替换为 C
select regexp_replace('foobar', 'oo|ar', '');
fb
语法:regexp_extract(string subject, string pattern, int index)
操作类型:string
描述:将字符串 subject 按照 pattern 正则表达式的规则拆分,返回 index 指定的字符。
select regexp_extract('foothebar', 'foo(.*?)(bar)', 0);
foothebar
select regexp_extract('foothebar', 'foo(.*?)(bar)', 1);
the
select regexp_extract('foothebar', 'foo(.*?)(bar)', 2);
bar
语法:parse_url(string urlString, string partToExtract [, string keyToExtract])
操作类型:string
描述:返回 URL 中指定的部分。partToExtract 的有效值为:HOST, PATH, QUERY, REF, PROTOCOL, AUTHORITY, FILE, and USERINFO.
select parse_url('https://www.baidu.com/path/p.php?k1=v1&k2=v2#ref1', 'HOST');
www.baidu.com
select parse_url('https://www.baidu.com/path/p.php?k1=v1&k2=v2#ref1', 'QUERY', 'k1');
v1
语法:get_json_object(string json_string, string path)
操作类型:string
描述:解析 json 的字符串 json_string,返回 path 指定的内容。如果输入的 json 字符串无效,那么返回 NULL。
select get_json_object('{"name":"zs","age":"25"}', '$.name');
zs
语法:space(int n)
操作类型:string
描述:返回长度为 n 的字符串
select space(3);
[空格][空格][空格]
语法:repeat(string str, int n)
操作类型:string
描述:返回重复 n 次后的 str 字符串
select repeat('abc', 3);
abcabcabc
语法:ascii(string str)
操作类型:int
描述:返回字符串 str 第一个字符的 ascii 码
select ascii('abc');
97
语法:lpad(string str, int len, string pad)
操作类型:string
描述:将 str 用 pad 进行左补足到 len 位
select lpad('abc', 10, '#');
#######abc
语法:rpad(string str, int len, string pad)
操作类型:string
描述:将 str 用 pad 进行右补足到 len 位
select rpad('abc', 10, '#');
abc#######
语法:split(string str, string pat)
操作类型:array
描述:按照 pat 字符串分割 str,会返回分割后的字符串数组。
select split('ab,cd,ef', ',');
["ab","cd","ef"]
语法:find_in_set(string str, string strList)
操作类型:int
描述:返回 str 在 strlist 第一次出现的位置,strlist 是用逗号分割的字符串。如果没有找到该 str 字符,则返回 0。
select find_in_set('cd','{ab,cd,ef}');
2
创建 test 表
create table test(id int, t int);
插入测试数据
insert into test values(1,60),(2,30),(3,80),(4,40),(5,60),(6,50),(7,80),(8,70),(9,90),(10,100);
查看表中数据
select * from test;
+----------+---------+
| test.id | test.t |
+----------+---------+
| 1 | 60 |
| 2 | 30 |
| 3 | 80 |
| 4 | 40 |
| 5 | 60 |
| 6 | 50 |
| 7 | 80 |
| 8 | 70 |
| 9 | 90 |
| 10 | 100 |
+----------+---------+
语法:count(),count(expr),count(DISTINCT expr[, expr_.])
返回类型:int
描述:count() 统计检索出的行的个数,包括 NULL 值的行;count(expr) 返回指定字段的非空值的个数;count(DISTINCT expr[, expr_.]) 返回指定字段的不同的非空值的个数。
select count(*) from test;
10
select count(distinct t) from test;
8
语法:sum(col),sum(DISTINCT col)
返回类型:double
描述:sum(col) 统计结果集中 col 的相加的结果;sum(DISTINCT col) 统计结果中 col 不同值相加的结果。
select sum(t) from test;
660
select sum(distinct t) from test;
520
语法:avg(col),avg(DISTINCT col)
返回类型:double
描述:avg(col) 统计结果集中 col 的平均值;avg(DISTINCT col) 统计结果中 col 不同值相加的平均值。
select avg(t) from test;
66.0
select avg(distinct t) from test;
65。0
语法:min(col)
返回类型:double
描述:统计结果集中 col 字段的最小值
select min(t) from test;
30
语法:max(col)
返回类型:double
描述:统计结果集中 col 字段的最大值
select max(t) from test;
100
语法:var_pop(col)
返回类型:double
描述:统计结果集中 col 非空集合的总体变量(忽略 null)
select round(var_pop(t), 2) from test;
444.0
语法:var_samp(col)
返回类型:double
描述:统计结果集中 col 非空集合的样本变量(忽略 null)
select round(var_samp(t), 2) from test;
493.33
语法:stddev_pop(col)
返回类型:double
描述:该函数计算总体标准偏离,并返回总体变量的平方根,其返回值与 VAR_POP 函数的平方根相同。
select round(stddev_pop(t), 2) from test;
21.07
语法:stddev_samp(col)
返回类型:double
描述:该函数计算样本标准偏离
select round(stddev_samp(t), 2) from test;
22.21
语法:percentile(BIGINT col, p)
返回类型:double
描述:求准确的 p 对应的百分位数,p 必须介于 0 和 1 之间,返回类型为 double,但是 col 字段目前只支持整数,不支持浮点数类型。
select percentile(t, 0.5) from test;
65.0
语法: percentile(BIGINT col, array(p1 [, p2]…))
返回类型:array
描述:功能和上述类似,array 中可以输入多个百分位数,返回类型也为 array,其中为对应的百分位数。
select percentile(t, array(0.2, 0.3, 0.5)) from test;
[48.0,57.0,65.0]
语法:percentile_approx(BIGINT col, p [, B])
返回类型:double
描述:求近似的 p 对应的百分位数,p 必须介于 0 和 1 之间,返回类型为 double,col 字段支持浮点类型。参数 B 控制内存消耗的近似精度,B越大,结果的准确度越高。默认为10,000。当 col 字段中的 distinct 值的个数小于 B 时,结果为准确的百分位数。
select percentile_approx(t, 0.5, 5) from test;
58.888888888888886
语法:percentile_approx(BIGINT col, array(p1 [, p2]…) [, B])
返回类型:double
描述:功能和上述类似,array 中可以输入多个百分位数,返回类型也为 array,其中为对应的百分位数。
select percentile_approx(t, array(0.2, 0.3, 0.5), 5) from test;
[35.0,50.0,58.888888888888886]
语法:histogram_numeric(col, b)
返回类型:array
描述:以 b 为基准计算 col 的直方图信息,得到的结果可用于作图。
select histogram_numeric(t, 100) from test;
[{"x":30.0,"y":1.0},{"x":40.0,"y":1.0},{"x":50.0,"y":1.0},{"x":60.0,"y":2.0},{"x":70.0,"y":1.0},{"x":80.0,"y":2.0},{"x":90.0,"y":1.0},{"x":100.0,"y":1.0}]