1、系统内置函数 1．查看系统自带的函数 hive> show functions; 2．显示自带的函数的用法 hive> desc function upper; 3．详细显示自带的函数的用法 hive> desc function extended upper;
2、取值计算 1、取整函数：round 语法：round(double a) 返回值：BIGINT 说明：返回double类型的整数值部分（遵循四舍五入） select round(3.14159260 from tableName; select round(3.5) from tableName; create table tableName as select round(9542.158) from tableName; 2、指定精度取整函数：round 语法：round(double a,int d) 返回值：DOUBLE 说明：返回指定精度d的double类型 select round(3.1415926,4) from tableName; 3、向下取整函数floor 语法：floor(double a) 返回值：BIGINT 说明：返回等于或者小于该double变量的最大的整数 select floor(3.1415926) from tableName; select floor(25) from tableName; 4、向上取整函数：ceil 语法：ceil(double a) 返回值：BIGINT 说明：返回等于或者大于该double变量的最小的整数 select ceil(3.1415926) from tableName; select ceil(46) from tableName; 5、向上取整函数：ceiling 语法：ceiling(double a) 返回值：BIGINT 说明：与ceil功能相同 select ceiling(3.1415926) from tableName; select ceiling(46) from tableName; 6、取随机数函数：rand 语法：rand(),rand(int seed) 返回值：double 说明：返回一个0到1范围内的随机数。如果指定种子seed，则会等到一个稳定的随机数序列 select rand) from tableName; select rand() from tableName; select rand(100) from tableName; select rand(100) from tableName; 2.3日期函数 1、UNIX时间戳转日期函数：from_unixtime 语法：from_unixtime(bigint unixtime[,string format]) 返回值：string 说明：转化UNIX时间戳（从1970-01-01 ）到当前时区的时间格式 select from_unixtime(1323308943,'yyyyMMdd') from tableName; 2、获取当前UNIX时间戳函数 语法：unix_timestamp() 返回值：bigint 说明：获得当时时区的UNIX时间戳 select unix_timestamp() from tableName; 3、日期转UNIX时间戳函数：unix_timestamp 语法：unix_timestam(string date) 返回值：bigint 说明：转换格式为'yyyy-MM-dd HH:mm:ss"的日期到UMIX时间戳。如果转换失败，则返回0、 select unix_timestamp('2011-12-07 13:01:03') from tableName; 4、指定格式日期转UNIX时间戳函数：unix_timestamp 语法：unix_timestamp(string date,string pattern) 返回值：bigint 说明：转换pattern格式的日期到UNiX时间戳。如果转化失败，则返回0. select unix_timestamp('20111207 13:01:03','yyyyMMdd HH:mm:ss') from tableName; 5、日期时间转日期函数：to_date 语法：to_date(string datetime) 返回值：string 说明：返回日期时间字段中的日期部分。 select to_date("2011-12-08 10:03:01') from tableName 6、日期转年函数：year 语法：year(string date) 返回值：int 说明：返回日期中的年 select year('2011-12-08 10:03:01') from tableName;
select year('2012-12-08') from tableName; 7、日期转月函数：month 语法：month(string date) 返回值：int 说明：返回date或datetime中的月份 select month('2011-12-08 10:03:01') from tableName; select month('2011-08-08') from tableName;
8、日期转天函数：day 语法：day(strign date) 返回值：int 说明：返回值日期中的天 select day('2011-12-08 10:03:01') from tableName; select day('2011-12-24') from tableName;
9、日期转小时函数: hour
语法: hour (string date)
返回值: int
说明: 返回日期中的小时。
hive> select hour('2011-12-08 10:03:01') from tableName;
10
10、日期转分钟函数: minute
语法: minute (string date)
返回值: int
说明: 返回日期中的分钟。
hive> select minute('2011-12-08 10:03:01') from tableName;
3
-- second 返回秒
hive> select second('2011-12-08 10:03:01') from tableName;
1
12、日期转周函数: weekofyear
语法: weekofyear (string date)
返回值: int
说明: 返回日期在当前的周数。
hive> select weekofyear('2011-12-08 10:03:01') from tableName;
49
13、日期比较函数: datediff
语法: datediff(string enddate, string startdate)
返回值: int
说明: 返回结束日期减去开始日期的天数。
hive> select datediff('2012-12-08','2012-05-09') from tableName;
213
14、日期增加函数: date_add
语法: date_add(string startdate, int days)
返回值: string
说明: 返回开始日期startdate增加days天后的日期。
hive> select date_add('2012-12-08',10) from tableName;
2012-12-18
15、日期减少函数: date_sub
语法: date_sub (string startdate, int days)
返回值: string
说明: 返回开始日期startdate减少days天后的日期。
hive> select date_sub('2012-12-08',10) from tableName;
2012-11-28
2.4 条件函数（重点）
1、if函数：if
1、If函数: if
语法: if(boolean testCondition, T valueTrue, T valueFalseOrNull)
返回值: T
说明: 当条件testCondition为TRUE时，返回valueTrue；否则返回valueFalseOrNull select if(1=2,100,200) from tableName; select if(1=1,100,200) from tableName; 2、非空查找函数：COALESCE 语法：COALESCE(T v1,T v2,..) 返回值：T 说明：返回参数中的第一个非空值；如果所有值都为NULL，那么返回NULL select COALESCE(null,'100','50') from tableName; 3、条件判断函数：CASE 语法：CASE a WHEN b THEN c [WHEN d THEN e] * [ELSE f] END 返回值：T 说明：如果a等于b,那么返回c；如果a等于d，那么返回e；否则返回f select case 100 when 50 then 'tom' when 100 then 'mary' else 'tim' end from tableName;
select case 200 when 50 then 'tom' when 100 then 'mary' else 'tim' end from tableName;
4、条件判断函数：CASE 语法：CASE WHEN a THEN b [WHEN c THEN d] * [ELSSE e] END 返回值：T 说明：如果a为TRUE，则返回b；如果c为TRUE，则返回d;否则返回e select case when 1=2 then 'tom' when 2=2 then 'mary' else 'tim' end from tableName; select case when 1=1 then 'tom' when 2=2 then 'mary' else 'tim' end from tableName; 2.5字符串函数 1、字符串长度函数length 语法：length(string A) 返回值：int 说明：返回字符串A的长度 select length('abcedfg') from tableName; 2、字符串反转函数：reverse 语法：reverse(string A) 返回值：string 说明：返回字符串A的反转结果 select reverse('abcedfg') from tableName; 3、字符串连接函数：concat 语法：concat(string A,string B..) 返回值：string 说明：返回输入字符串连接后的结果，支持任意个输入字符串 select concat('abc','def','gh') from tableName; 4、字符串连接并指定字符串分隔符：concat_ws 语法：concat_ws(string SEP,string A,string B..) 返回值：string 说明：返回输入字符串连接后的结果，SEP表示各个字符串间的分隔符 select concat_ws(',','abc','def','gh') from tableName; 5、字符串截取函数：substr 语法：substr(string A,int start),substring(string A,int start) 返回值：string 说明：返回字符串A从start位置到结尾的字符串 select substr('abcde',3) from tableName; select substring('abcde',3) from tableName; select substr('abcde',-1) from tableName; 6、字符串截取函数：substr,substring 语法：substr(string A,int start,int len),substring(string a,int start,int len) 返回值：string 说明：返回字符串A从start位置开始，长度为len的字符串 select substr('abcde',3,2) from tableName; select substring('abcde',3,2) from tableName; select substring('abcde',-3,2) from tableName;
7、字符串转大写函数：upper,ucase 语法：upper(string A) ucase(string A) 返回值：string 说明：返回字符串A的大写格式 select upper('abSed') from tableName; select ucase('abSED') from tableName;
8、字符串转小写函数：lower,lcase 语法：lower(string A) lcase(string A) 返回值：string 说明：返回字符串A的小写格式 select lower('abSED') from tableName; select ;case('abSED') from tableName;
9、去空格函数：trim 语法：trim(string A) 返回值：string 说明：去除字符串两边的空格 select trim(' ab c ') from tableNmae;
创建hive表并加载数据 create table person_info(name string,constellation string,blood_type string) row format delimited fields terminated by '\t'; 加载数据 load data local inpath '/kkb/install/hivedatas/constellation.txt' into table person_info; 6、按需求查询数据 select t1.base,concat_ws('|',collect_st(t1.name)) name from (select name,concat(constellation,",",blood_type) base from person_info) t1 group by t1.base; 2.10列转行 1、函数说明 EXPLODE(col):将hive一列中复杂的array或者map结构拆分成多行。 LATERAL VIEW 用法：LATERAL VIEW udft(expression) tableAlias AS columnAlias 解释：用于和split,explode等UDTF一起使用，它能够将一列数据拆成多行数据，在此基础上可以对拆分后的数据进行聚合。 2、数据准备 数据内容如下，字段之间都是使用\t进行分割 cd /kkb/install/hivedatas vim move.txt
《疑犯追踪》 悬疑,动作,科幻,剧情 《Lie to me》 悬疑,警匪,动作,心理,剧情 《战狼2》 战争,动作,灾难 3、需求 将电影分类中的数据展开。结果如下： 《疑犯追踪》 悬疑 《疑犯追踪》 动作 《疑犯追踪》 科幻 《疑犯追踪》 剧情 《Lie to me》 悬疑 《Lie to me》 警匪 《Lie to me》 动作 《Lie to me》 心理 《Lie to me》 剧情 《战狼2》 战争 《战狼2》 动作 《战狼2》 灾难 4、创建hive表并导入数据 创建hive表 create table movie_info(movie string,categroy array) row format delimited fields terminated by "\t" collection items terminated by ","; 加载数据 load data local inpath "/kkb/install/hivedatas/movie.txt" into table move_info; 5、按需求查询数据 select movie,catagory_name from move_info lateral view exploade(cate gory) table_tmp as category_name;
第一步：创建hive数据库 创建hive数据库 create database hive_explode; use hive_explode; 第二步：创建hive表 create table hive_explode.t3(name string,children array,address Map) row format delimited fields terminated by '\t' collection items terminated by ',' map keys terminated by ':' stored as textFile; 第三步：加载数据 node03执行以下命令创建表数据文件 cd /kkb/install/hivedatas/ vim maparray -- 数据内容格式如下 zhangsan child1,child2,child3,child4 k1:v1,k2:v2 lisi child5,child6,child7,child8 k3:v3,k4:v4 hive表当中加载数据 hive (hive_explode)> load data local inpath '/kkb/install/hivedatas/maparray' into table hive_explode.t3;
第四步：使用explode将hive当中数据拆开
将array当中的数据拆分开 select explode(children) AS myChild FROm hive_explode.t3; 将map当中的数据拆分开 select explode(address) AS (myMapKey,myMapValue) FROM hive_explode.t3;
2、使用explode拆分json字符串 需求：现在有一些数据格式如下： a:shandong,b:beijing,c:hebei|1,2,3,4,5,6,7,8,9|[{"source":"7fresh","monthSales":4900,"userCount":1900,"score":"9.9"},{"source":"jd","monthSales":2090,"userCount":78981,"score":"9.8"},{"source":"jdmart","monthSales":6987,"userCount":1600,"score":"9.0"}] 其中字段与字段之间的分隔符是| 我们要解析得到所有的monthSales对应的值为以下这一列（行转列） 第一步：创建hive表 create table hive_explode.explode_lateral_view (area string,goods_id string,sale_info string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' STORED AS textfile; 第二步：准备数据并加载数据 准备数据如下 cd /kkb/install/hivedatas vim explode_json a:shandong,b:beijing,c:hebei|1,2,3,4,5,6,7,8,9|[{"source":"7fresh","monthSales":4900,"userCount":1900,"score":"9.9"},{"source":"jd","monthSales":2090,"userCount":78981,"score":"9.8"},{"source":"jdmart","monthSales":6987,"userCount":1600,"score":"9.0"}]
加载数据到hive表当中去 load data local inpath '/kkb/install/hivedatas/explode_json' overwrite into table hive_explode.explode_lateral_view;
第三步：使用explode拆分Array select explode(split(goods_id,',')) as goods_id from hive_explode.explode_lateral_view;
第四步：使用explode拆解Map select explode(split(area,',')) as area from hive_explode.explode_lateral_view; 第五步：拆解json字段 select explode(split(regexp_replace(regexp_replace(sale_info,'\[\{',''),'}]',''),'},\{')) as sale_info from hive_explode.explode_lateral_view;
然后我们想用get_json_object来获取key为monthSales的数据： select get_json_object(explode(split(regexp_replace(regexp_replace(sale_info,'\[\{',''),'}]',''),'},\{')),'$.monthSales') as sale_info from hive_explode.explode_lateral_view;
-- 然后出现异常FAILED: SemanticException [Error 10081]: UDTF's are not supported outside the SELECT clause, nor nested in expressions -- UDTF explode不能写在别的函数内
-- 如果你这么写，想查两个字段，select explode(split(area,',')) as area,good_id from explode_lateral_view; -- 会报错FAILED: SemanticException 1:40 Only a single expression in the SELECT clause is supported with UDTF's. Error encountered near token 'good_id' -- 使用UDTF的时候，只支持一个字段，这时候就需要LATERAL VIEW出场了 3、配合LATERAL VIEW使用 lateral view用于和split、explode等UDTF一起使用，能将一行数据拆分成多行数据 在此基础上可以对拆分的数据进行聚合 later view首先为原始表的每行调用UDTF,UDTF会把一行拆分成一行或者多行，lateral view在把结果组合，产生一个支持别名表的虚拟表。 配合lateral view查询多个字段 select goods_id2,sale_info from explode_lateral_view LATERAL VIEW explode(split(goods_id,',')) goods as goods_id2; 其中LATeRAL VIEW explode(split(goods_id,','))goods相当于一个虚拟表，与原表explode_laterral_view笛卡尔积关联。 也可以多重使用，如下，也是三个笛卡尔积的结果 select goods_id2,sale_info,area2 from explode_lateral_view LATERAL VIEW explode(split(goods_id,',')) goods as goods_id2 LATERAL VIEW explode(split(area,','))area as area2; 最终，我们可以通过下面的句子，把这个json格式的一行数据，完全转换成二维表的方式展现 select get_json_object(concat('{',sale_info_1,'}'),'.monthSales') as monthSales, get_json_object(concat('{',sale_info_1,'}'),'.score') as score from explode_lateral_view LATERAL VIEW explode(split(regexp_replace(regexp_replace(sale_info,'\[\{',''),'}]',''),'},\{'))sale_info as sale_info_1;
2.12 reflect函数 reflect函数可以支持在sql中调用java中的自带函数，秒杀一切udf函数。 1、使用java.lang.Math当中的Max求两列中最大值 创建hive表 create table test_udf(col1 int,col2 int) row format delimited fields terminated by ','; 准备数据并加载数据 cd /kkb/install/hivedatas vim test_udf
1,2 4,3 6,4 7,5 5,6 加载数据 load data local inpath '/kkb/install/hivedatas/test_udf' overwrite into table test_udf; 使用java.lang.Math当中的Max求两列当中的最大值 select reflect("java.lang.Math","max",col1,col2) from test_udf; 2、不同记录执行不同的java内置函数 创建hive表 create table test_udf2(class_name string,method_name string,col1 int,col2 int) row format delimited fields terminated by ','; 准备数据 cd /export/servers/hivedatas vim test_udf2
java.lang.Math,min,1,2 java.lang.Math,max,2,3 加载数据 load data local inpath '/kkb/install/hivedatas/test_udf2' overwrite into table test_udf2; 执行查询 select reflect(class_name,method_name,col1,col2) from test_udf2; 3、判断是否为数字
CREATE EXTERNAL TABLE cookie_pv ( cookieid string, createtime string, pv INT ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' ;
第二步：准备数据并加载
node03执行以下命令，创建数据，并加载到hive表当中去
cd /kkb/install/hivedatas vim cookiepv.txt cookie1,2015-04-10,1 cookie1,2015-04-11,5 cookie1,2015-04-12,7 cookie1,2015-04-13,3 cookie1,2015-04-14,2 cookie1,2015-04-15,4 cookie1,2015-04-16,4 cookie2,2015-04-10,2 cookie2,2015-04-11,3 cookie2,2015-04-12,5 cookie2,2015-04-13,6 cookie2,2015-04-14,3 cookie2,2015-04-15,9 cookie2,2015-04-16,7
加载数据到hive表当中去
load data local inpath '/kkb/install/hivedatas/cookiepv.txt' overwrite into table cookie_pv;
第三步：使用分析函数来求取每个cookie访问PV的前三条记录
select * from ( SELECT cookieid, createtime, pv, RANK() OVER(PARTITION BY cookieid ORDER BY pv desc) AS rn1, DENSE_RANK() OVER(PARTITION BY cookieid ORDER BY pv desc) AS rn2, ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY pv DESC) AS rn3 FROM cookie_pv ) temp where temp.rn1 <= 3;
package com.kkb.udf.MyUDF; public class MyUDF extends UDF { public Text evaluate(final Text s) { if (null == s) { return null; } //返回大写字母 return new Text(s.toString().toUpperCase()); } }
java的多态性是指main方法在调用属性的时候类可以对这一属性做出反应的情况
//package 1;
class A{
public void test(){
System.out.println("A");
}
}
class D extends A{
public void test(){
S
参考了网上的思路，写了个Java版的：
public class Fibonacci {
final static int[] A={1,1,1,0};
public static void main(String[] args) {
int n=7;
for(int i=0;i<=n;i++){
int f=fibonac
1、查看系统客户端，数据库，连接层的编码
查看方法： http://daizj.iteye.com/blog/2174993
进入mysql，通过如下命令查看数据库编码方式： mysql> show variables like 'character_set_%'; +--------------------------+------
public class MyQueue {
private long[] arr;
private int front;
private int end;
// 有效数据的大小
private int elements;
public MyQueue() {
arr = new long[10];
elements = 0;
front
A binary search tree (BST) is a binary tree where each node has a Comparable key (and an associated value) and satisfies the restriction that the key in any node is larger than the keys in all
