hive函数及性能优化
hive函数分类
从输入输出角度分类
标准函数：一行数据中的一列或多列为输入，结果为单一值
聚合函数：多行的零列到多列为输入，结果为单一值
表生成函数：零个或多个输入，结果为多列或多行
从实现方式分类
内置函数
自定义函数
UDF：自定义标准函数
UDAF：自定义聚合函数
UDTF：自定义表生成函数
hive提供了大量内置函数供开发者使用
标准函数：字符函数、类型转换函数、数学函数、日期函数、集合函数、条件函数
聚合函数
表生成函数
具体见文章：https://www.cnblogs.com/MOBIN/p/5618747.html
select concat('abc','cd','fff') | abccdfff
select instr('abcdabcd','cd') | 3
select length('cd','abcdabcd',4) | 6
select locate('cd','abcdabcd',4) | 7
select upper('abcdef') ABCDEF
select lower('ABCDef') abcdef
select regexp_replace('1999/5.6','[/|\\.]','-') []代表字符选择器 1999-5-6
select regexp_replace('1999/5/6 13:24:56.234','\\.[0-9]+','') 把.234去掉
select split('1999/5/6 13:24:56.234','\\.')[0] 1999/5.6 13:24:56
select substring('1999/5/6 13:24:56.234',1,8) 1999/5/6 java左包右不包
select trim(' 1999/5/6 13:24:56.234 ') 去除前后的空格
select str_to_map('1999/5/6 13:24:56.234',' ') 将字符串转换成map格式
select str_to_map('a:b,c:d') "a":"b","c":"d"
select encode('你好','utf-8') 你好
select reverse('你好') 好你
select ltrim(' abc') 去除左边的空格 rtirm('abc ') 去除右边的空格
正则的作用：查找、替换、匹配、截取
select regexp_extract('1999-5-6 13:14:56.001','([0-9]{4}-[0-9]{1,2}-[0-9]{1,2}) ([0-9]{1,2}:[0-9]{1,2}:[0-9]{1,2})(\\.[0-9]{2,3})',3)
select format_number('1234567.45678',3) 1,234,567.457
select repeat('abc',3) abcabcabc
select get_json_object('{"name":"zs","age":"40"}','$.name') zs
select lpad('abcd',10,'0') 000000abcd左填充 rpad右填充
select lpad('abcd',3,'0') abc不够长左截取 rpad不够长右截取
select parse_url('http://www.taobao.com','HOST') www.taobao.com取网址
select parse_url('http://www.taobao.com?userid=1&v=2','QUERY') userid=1&v=2取参数
select parse_url('http://www.taobao.com?userid=1&v=2','PROTROCY') as info
select sentences('hello world!how do you do') [["hello","world"],["how","do","you","do"]]
select initcap('hello world, how do you do') Hello World,How Do You Do 首字母大写
select round(2.14158,3) 四舍五入保留3位小数，后面不写默认保留两位
select floor(2.9415) 向下取整2
select ceil(2.1415) 向上取整3
select rand() 取0-1之间的随机浮点数 rand(10) 取0-10之间的随机浮点数，每次都一样
java平时的随机数是以当前时间戳为序列，是随着时间变，给了10之后是以10为序列，第一次随机完了之后就一直是同一个数，10就是种子seed
select sqrt(9) 开根号3 select sqrt(-10) null
select pow(10,2) 10的平方100
select pmod(3,2) 求模1 数据库为mod
select cast("123" as int)+20 数据类型转换143
select cast("123" as string)+20 +可以自动做数据类型转换
select cast("123abc" as int) null
select from_unixtime(1250111000) 时间戳转成年月日时分秒2009-08-13 14:18:36
select from_unixtime(1250111000,'yyyy-MM-dd'),unix_timestamp() 2009-08-13,获取当前时间戳
select unix_timestamp('1999-9-9 1:0:34') 获取1999-9-9 1:0:34的时间戳
select unix_timestamp('1999-1-1 8:0:0') 时间戳为0
select to_date(from_unixtime(unix_timestamp())) 获取当前日期，按一定格式输出2020-06-15
select year(from_unixtime(unix_timestamp())) 取年2020
select month(from_unixtime(unix_timestamp())) 取月06
select day(from_unixtime(unix_timestamp())) 取日15
select weekofyear(from_unixtime(unix_timestamp())) 今天是本年的第几周
select current_date() 当前日期2020-06-15
select datediff(current_date(),'2020-5-12') 两个日期相减 34
select date_add(curent_date(),2) 当前日期加两天 2020-06-17
select date_sub(current_date(),2) 当前日期减两天
select current_timestamp() 当前时间戳2020-06-15 12:01:15
select add_months(current_date(),6) 当前月份加6个月
select last_day(current_date()) 获取当前月份的最后一天
select next_day(curent_date(),'MO') 获取下个星期几的日期
select trunc(current_date(),'MM') 截取当前月份，后面自动补1 2020-06-01
select trunc(current_date(),'YY') 获取当前年份 2020-01-01
select months_between(current_date(),'2020-12-31') -6.516 差了6.526个月，前减后 算前后相差几个月
select date_format(current_date(),'m') 获取月 'd','y','h','s', 只精确年月日，时分秒不精确
select size(split('hello world how do you do',' ')) 6 先分割再计算长度
select if(1>2,'hello','world') world
select nvl(null,10) 如果为10就返回空 =if null（mysql） nvl(1,10)返回1,不空填后面的值，空返回前面的值
select ifnull(null,10) 返回10
select coalesce(null,null,null,10,null,20) 返回第一个不为空的值10