左美美￣　　

hive常用函数大全

Hive常用函数大全

第1章算数运算

1.1 加法： +

语法：A + B

操作类型：所有数值类型

说明：返回A与B相加的结果。结果的数值类型等于A的类型和B的类型的最小父类型（详见数据类型的继承关系）。比如，int + int 一般结果为int类型，而 int + double 一般结果为double类型

hive > select 1 + 9 from zuoyyyy;

10

hive > create table zuoyyyy as select 1 + 1.2 from zuoyyyy;

hive > describe zuoyyyy;

 _c0 double

1.2 减法： -

语法：A - B

操作类型：所有数值类型

说明：返回A与B相减的结果。结果的数值类型等于A的类型和B的类型的最小父类型（详见数据类型的继承关系）。比如，int – int 一般结果为int类型，而 int – double 一般结果为double类型

hive > select 10 -- 5 from zuoyyyy;

5

hive > create table zuoyyyy as select 5.6 -- 4 from zuoyyyy;

hive > describe zuoyyyy;

 _c0 double

1.3 乘法： *

语法：A * B

操作类型：所有数值类型

说明：返回A与B相乘的结果。结果的数值类型等于A的类型和B的类型的最小父类型（详见数据类型的继承关系）。注意，如果A乘以B的结果超过默认结果类型的数值范围，则需要通过cast将结果转换成范围更大的数值类型

hive > select 40  * 5 from zuoyyyy;

200

1.4 除法： /

语法：A / B

操作类型：所有数值类型

说明：返回A除以B的结果。结果的数值类型为double

hive > select 40 / 5 from zuoyyyy;

8.0

1

2

注意：hive中最高精度的数据类型是double,只精确到小数点后16位，在做除法运算的时候要特别注意

hive >select ceil(28.0/6.999999999999999999999) from zuoyyyy limit 1;

结果为4

hive >select ceil(28.0/6.99999999999999) from zuoyyyy limit 1;

结果为5

1.5 取余： %

语法：A % B

操作类型：所有数值类型

说明：返回A除以B的余数。结果的数值类型等于A的类型和B的类型的最小父类型（详见数据类型的继承关系）。

hive > select 41 % 5 from zuoyyyy;

1

hive > select 8.4 % 4 from zuoyyyy;

0.40000000000000036

注意：精度在hive中是个很大的问题，类似这样的操作最好通过round指定精度

hive > select round(8.4 % 4 , 2) from zuoyyyy;

0.4

1.6 位与： &

语法：A & B

操作类型：所有数值类型

说明：返回A和B按位进行与操作的结果。结果的数值类型等于A的类型和B的类型的最小父类型（详见数据类型的继承关系）。

hive > select 4 & 8 from zuoyyyy;0

hive > select 6 & 4 from zuoyyyy;4

1.7 位或： |

语法：A | B

操作类型：所有数值类型

说明：返回A和B按位进行或操作的结果。结果的数值类型等于A的类型和B的类型的最小父类型（详见数据类型的继承关系）。

hive > select 4  | 8 from zuoyyyy;

12

hive > select 6  | 8 from zuoyyyy;

14

1.8 位异或： ^

语法：A ^ B

操作类型：所有数值类型

说明：返回A和B按位进行异或操作的结果。结果的数值类型等于A的类型和B的类型的最小父类型（详见数据类型的继承关系）。

hive > select 4  ^ 8 from zuoyyyy;

12

hive > select 6  ^ 4 from zuoyyyy;

2

1.9 位取反： ~

语法： ~A

操作类型：所有数值类型

说明：返回A按位取反操作的结果。结果的数值类型等于A的类型。

hive > select  ~6 from zuoyyyy;

-7

hive > select  ~4 from zuoyyyy;

-5

第2章关系运算

2.1 等值比较： =

语法：A=B

操作类型：所有基本类型

说明：如果表达式A与表达式B相等，则为TRUE；否则为FALSE

hive > select 1 from zuoyyyy where 1=1;

1

2.2 不等值比较： < >

语法： A < > B

操作类型：所有基本类型

说明：如果表达式A为NULL，或者表达式B为NULL，返回NULL；如果表达式A与表达式B不相等，则为TRUE；否则为FALSE

hive > select 1 from zuoyyyy where 1  < > 2;

1

2.3 小于比较： <

语法： A < B

操作类型：所有基本类型

说明：如果表达式A为NULL，或者表达式B为NULL，返回NULL；如果表达式A小于表达式B，则为TRUE；否则为FALSE

hive > select 1 from zuoyyyy where 1  < 2;

1

2.4 小于等于比较： <=

语法： A <= B

操作类型：所有基本类型

说明：如果表达式A为NULL，或者表达式B为NULL，返回NULL；如果表达式A小于或者等于表达式B，则为TRUE；否则为FALSE

hive > select 1 from zuoyyyy where 1  < = 1;

1

2.5 大于比较： >

语法： A > B

操作类型：所有基本类型

说明：如果表达式A为NULL，或者表达式B为NULL，返回NULL；如果表达式A大于表达式B，则为TRUE；否则为FALSE

+--------------------------------------------+
| hive > select 1 from zuoyyyy where 2  > 1; |
|                                            |
| 1                                          |
+--------------------------------------------+

2.6 大于等于比较： >=

语法： A >= B

操作类型：所有基本类型

说明：如果表达式A为NULL，或者表达式B为NULL，返回NULL；如果表达式A大于或者等于表达式B，则为TRUE；否则为FALSE

+---------------------------------------------+
| hive > select 1 from zuoyyyy where 1  >= 1; |
|                                             |
| 1                                           |
+---------------------------------------------+

注意：String的比较要注意(常用的时间比较可以先 to _date 之后再比较)

+-----------------------------------------------------------------+
| hive > select  * from zuoyyyy;                                  |
|                                                                 |
| OK                                                              |
|                                                                 |
| 2011111209 00：00：00     2011111209                            |
|                                                                 |
| hive > select a, b, a <b, a >b, a=b from zuoyyyy;               |
|                                                                 |
| 2011111209 00：00：00     2011111209      false   true    false |
+-----------------------------------------------------------------+

2.7 空值判断： IS NULL

语法： A IS NULL

操作类型：所有类型

说明：如果表达式A的值为NULL，则为TRUE；否则为FALSE

+--------------------------------------------------+
| hive > select 1 from zuoyyyy where null is null; |
|                                                  |
| 1                                                |
+--------------------------------------------------+

2.8 非空判断： IS NOT NULL

语法： A IS NOT NULL

操作类型：所有类型

说明：如果表达式A的值为NULL，则为FALSE；否则为TRUE

+---------------------------------------------------+
| hive > select 1 from zuoyyyy where 1 is not null; |
|                                                   |
| 1                                                 |
+---------------------------------------------------+

2.9 LIKE比较： LIKE

语法： A LIKE B

操作类型： strings

说明：如果字符串A或者字符串B为NULL，则返回NULL；如果字符串A符合表达式B 的正则语法，则为TRUE；否则为FALSE。B中字符" _“表示任意单个字符，而字符”%"表示任意数量的字符。

+------------------------------------------------------------------------+
| hive > select 1 from zuoyyyy where  'football ' like  'foot% ';        |
|                                                                        |
| 1                                                                      |
|                                                                        |
| hive > select 1 from zuoyyyy where  'football ' like  'foot _ _ _ _ '; |
|                                                                        |
| 1                                                                      |
|                                                                        |
|  <strong >注意：否定比较时候用NOT A LIKE B </strong >                      |
|                                                                        |
| hive > select 1 from zuoyyyy where NOT  'football ' like  'fff% ';     |
|                                                                        |
| 1                                                                      |
+------------------------------------------------------------------------+

2.10 JAVA的LIKE操作： RLIKE

语法： A RLIKE B

操作类型： strings

说明：如果字符串A或者字符串B为NULL，则返回NULL；如果字符串A符合JAVA正则表达式B的正则语法，则为TRUE；否则为FALSE。

+-----------------------------------------------------------------------+
| hive > select 1 from zuoyyyy where  'footbar' rlike  ' ^f. *r $';     |
|                                                                       |
| 1                                                                     |
|                                                                       |
| 注意：判断一个字符串是否全为数字：                                          |
|                                                                       |
| hive >select 1 from zuoyyyy where  '123456 ' rlike  ' ^    d+ $ ';    |
|                                                                       |
| 1                                                                     |
|                                                                       |
| hive > select 1 from zuoyyyy where  '123456aa ' rlike  ' ^    d+ $ '; |
+-----------------------------------------------------------------------+

2.11 REGEXP操作： REGEXP

语法： A REGEXP B

操作类型： strings

说明：功能与RLIKE相同

+----------------------------------------------------------------------+
| hive > select 1 from zuoyyyy where  'footbar ' REGEXP  ' ^f. *r $ '; |
|                                                                      |
| 1                                                                    |
+----------------------------------------------------------------------+

第3章数值函数

3.1 取整函数： round

语法： round(double a)

返回值： BIGINT

说明：返回double类型的整数值部分（遵循四舍五入）

+---------------------------------------------------------------------+
| hive > select round(3.1415926) from zuoyyyy;                        |
|                                                                     |
| 3                                                                   |
|                                                                     |
| hive > select round(3.5) from zuoyyyy;                              |
|                                                                     |
| 4                                                                   |
|                                                                     |
| hive > create table zuoyyyy as select round(9542.158) from zuoyyyy; |
|                                                                     |
| hive > describe zuoyyyy;                                            |
|                                                                     |
|  _c0     bigint                                                     |
+---------------------------------------------------------------------+

3.2 指定精度取整函数： round

语法： round(double a, int d)

返回值： DOUBLE

说明：返回指定精度d的double类型

+------------------------------------------------+
| hive > select round(3.1415926,4) from zuoyyyy; |
|                                                |
| 3.1416                                         |
+------------------------------------------------+

3.3 向下取整函数： floor

语法： floor(double a)

返回值： BIGINT

说明：返回等于或者小于该double变量的最大的整数

+----------------------------------------------+
| hive > select floor(3.1415926) from zuoyyyy; |
|                                              |
| 3                                            |
|                                              |
| hive > select floor(25) from zuoyyyy;        |
|                                              |
| 25                                           |
+----------------------------------------------+

3.4 向上取整函数： ceil

语法： ceil(double a)

返回值： BIGINT

说明：返回等于或者大于该double变量的最小的整数

+---------------------------------------------+
| hive > select ceil(3.1415926) from zuoyyyy; |
|                                             |
| 4                                           |
|                                             |
| hive > select ceil(46) from zuoyyyy;        |
|                                             |
| 46                                          |
+---------------------------------------------+

3.5 向上取整函数： ceiling

语法： ceiling(double a)

返回值： BIGINT

说明：与ceil功能相同

+------------------------------------------------+
| hive > select ceiling(3.1415926) from zuoyyyy; |
|                                                |
| 4                                              |
|                                                |
| hive > select ceiling(46) from zuoyyyy;        |
|                                                |
| 46                                             |
+------------------------------------------------+

3.6 取随机数函数： rand

语法： rand(),rand(int seed)

返回值： double

说明：返回一个0到1范围内的随机数。如果指定种子seed，则会等到一个稳定的随机数序列

+---------------------------------------+
| hive > select rand() from zuoyyyy;    |
|                                       |
| 0.5577432776034763                    |
|                                       |
| hive > select rand() from zuoyyyy;    |
|                                       |
| 0.6638336467363424                    |
|                                       |
| hive > select rand(100) from zuoyyyy; |
|                                       |
| 0.7220096548596434                    |
|                                       |
| hive > select rand(100) from zuoyyyy; |
|                                       |
| 0.7220096548596434                    |
+---------------------------------------+

3.7 自然指数函数： exp

语法： exp(double a)

返回值： double

说明：返回自然对数e的a次方

+--------------------------------------------------+
| hive > select exp(2) from zuoyyyy;               |
|                                                  |
| 7.38905609893065                                 |
|                                                  |
|  <strong >自然对数函数 </strong >： ln              |
|                                                  |
|  <strong >语法 </strong >： ln(double a)          |
|                                                  |
|  <strong >返回值 </strong >： double               |
|                                                  |
|  <strong >说明 </strong >： 返回a的自然对数          |
|                                                  |
| 1                                                |
|                                                  |
| hive > select ln(7.38905609893065) from zuoyyyy; |
|                                                  |
| 2.0                                              |
+--------------------------------------------------+

3.8 以10为底对数函数： log10

语法： log10(double a)

返回值： double

说明：返回以10为底的a的对数

+----------------------------------------+
| hive > select log10(100) from zuoyyyy; |
|                                        |
| 2.0                                    |
+----------------------------------------+

3.9 以2为底对数函数： log2

语法： log2(double a)

返回值： double

说明：返回以2为底的a的对数

+-------------------------------------+
| hive > select log2(8) from zuoyyyy; |
|                                     |
| 3.0                                 |
+-------------------------------------+

3.10 对数函数： log

语法： log(double base, double a)

返回值： double

说明：返回以base为底的a的对数

+----------------------------------------+
| hive > select log(4,256) from zuoyyyy; |
|                                        |
| 4.0                                    |
+----------------------------------------+

3.11 幂运算函数： pow

语法： pow(double a, double p)

返回值： double

说明：返回a的p次幂

+--------------------------------------+
| hive > select pow(2,4) from zuoyyyy; |
|                                      |
| 16.0                                 |
+--------------------------------------+

3.12 幂运算函数： power

语法： power(double a, double p)

返回值： double

说明：返回a的p次幂,与pow功能相同

+----------------------------------------+
| hive > select power(2,4) from zuoyyyy; |
|                                        |
| 16.0                                   |
+----------------------------------------+

3.13 开平方函数： sqrt

语法： sqrt(double a)

返回值： double

说明：返回a的平方根

+--------------------------------------+
| hive > select sqrt(16) from zuoyyyy; |
|                                      |
| 4.0                                  |
+--------------------------------------+

3.14 二进制函数： bin

语法： bin(BIGINT a)

返回值： string

说明：返回a的二进制代码表示

+------------------------------------+
| hive > select bin(7) from zuoyyyy; |
|                                    |
| 111                                |
+------------------------------------+

3.15 十六进制函数： hex

语法： hex(BIGINT a)

返回值： string

说明：如果变量是int类型，那么返回a的十六进制表示；如果变量是string类型，则返回该字符串的十六进制表示

+----------------------------------------+
| hive > select hex(17) from zuoyyyy;    |
|                                        |
| 11                                     |
|                                        |
| hive > select hex('abc') from zuoyyyy; |
|                                        |
| 616263                                 |
+----------------------------------------+

3.16 绝对值函数： abs

语法： abs(double a) abs(int a)

返回值： double int

说明：返回数值a的绝对值

+---------------------------------------+
| hive > select abs(-3.9) from zuoyyyy; |
|                                       |
| 3.9                                   |
|                                       |
| hive > select abs(10.9) from zuoyyyy; |
|                                       |
| 10.9                                  |
+---------------------------------------+

3.17 反转十六进制函数： unhex

语法： unhex(string a)

返回值： string

说明：返回该十六进制字符串所代码的字符串

+---------------------------------------------+
| hive > select unhex('616263') from zuoyyyy; |
|                                             |
| abc                                         |
|                                             |
| hive > select unhex('11') from zuoyyyy;     |
|                                             |
|  -                                          |
|                                             |
| hive > select unhex(616263) from zuoyyyy;   |
|                                             |
| abc                                         |
+---------------------------------------------+

3.18 进制转换函数： conv

语法： conv(BIGINT num, int from _base, int to _base)

返回值： string

说明：将数值num从from _base进制转化到to _base进制

+--------------------------------------------+
| hive > select conv(17,10,16) from zuoyyyy; |
|                                            |
| 11                                         |
|                                            |
| hive > select conv(17,10,2) from zuoyyyy;  |
|                                            |
| 10001                                      |
+--------------------------------------------+

3.19 正取余函数： pmod

语法： pmod(int a, int b),pmod(double a, double b)

返回值： int double

说明：返回正的a除以b的余数

+----------------------------------------+
| hive > select pmod(9,4) from zuoyyyy;  |
|                                        |
| 1                                      |
|                                        |
| hive > select pmod(-9,4) from zuoyyyy; |
|                                        |
| 3                                      |
+----------------------------------------+

3.20 正弦函数： sin

语法： sin(double a)

返回值： double

说明：返回a的正弦值

+--------------------------------------+
| hive > select sin(0.8) from zuoyyyy; |
|                                      |
| 0.7173560908995228                   |
+--------------------------------------+

3.21 反正弦函数： asin

语法： asin(double a)

返回值： double

说明：返回a的反正弦值

+------------------------------------------------------+
| hive > select asin(0.7173560908995228) from zuoyyyy; |
|                                                      |
| 0.8                                                  |
+------------------------------------------------------+

3.22 余弦函数： cos

语法： cos(double a)

返回值： double

说明：返回a的余弦值

+--------------------------------------+
| hive > select cos(0.9) from zuoyyyy; |
|                                      |
| 0.6216099682706644                   |
+--------------------------------------+

3.23 反余弦函数： acos

语法： acos(double a)

返回值： double

说明：返回a的反余弦值

+------------------------------------------------------+
| hive > select acos(0.6216099682706644) from zuoyyyy; |
|                                                      |
| 0.9                                                  |
+------------------------------------------------------+

3.24 positive函数： positive

语法： positive(int a), positive(double a)

返回值： int double

说明：返回a

+-------------------------------------------+
| hive > select positive(-10) from zuoyyyy; |
|                                           |
| -10                                       |
|                                           |
| hive > select positive(12) from zuoyyyy;  |
|                                           |
| 12                                        |
+-------------------------------------------+

3.25 negative函数： negative

语法： negative(int a), negative(double a)

返回值： int double

说明：返回-a

+------------------------------------------+
| hive > select negative(-5) from zuoyyyy; |
|                                          |
| 5                                        |
|                                          |
| hive > select negative(8) from zuoyyyy;  |
|                                          |
| -8                                       |
+------------------------------------------+

3.26自然对数函数： ln

语法： ln(double a)

返回值： double

说明：返回a的自然对数，a可为小数

hive > select ln(7.38905609893065);

2.0

3.27 正切函数：tan

语法： tan(double a)

返回值： double

说明：返回a的正切值

hive > select tan(0.8);

1.0296385570503641

3.28 反正切函数：atan

语法： atan(double a)

返回值： double

说明：返回a的反正切值

hive > select atan(1.0296385570503641);

0.8

3.29 弧度值转换角度值：degrees

语法： degrees(double a)

返回值： double

说明：返回a的角度值

hive > select degrees(1);

57.29577951308232

3.30 角度值转换成弧度值：radians

语法： radians(double a)

返回值： double

说明：返回a的弧度值

hive > select radians(57.29577951308232);

1.0

3.31 判断正负函数：sign

语法： sign(double a)

返回值： double

说明：如果a是正数则返回1.0，是负数则返回-1.0，否则返回0.0

hive > select sign(-4);

-1.0

3.32 数学e函数：e

语法： e()

返回值： double

说明：数学常数e

hive > select e();

2.718281828459045

3.33 数学pi函数：pi

语法： pi()

返回值： double

说明：圆周率π

hive > select pi();

3.141592653589793

3.34 阶乘函数：factorial

语法： factorial(int a)

返回值： bigint

说明：求a的阶乘

hive > select factorial(5);

120

3.35 立方根函数：cbrt

语法： cbrt(double a)

返回值： double

说明：求a的立方根

hive > select cbrt(27);

3

3.36 左移函数：shiftleft

语法： shiftleft(BIGINT a, int b)

返回值： int bigint

说明：按位左移

hive > select shiftleft(4,2);

16

3.37 右移函数：shiftright

语法： shiftright(BIGINT a, int b)

返回值： int bigint

说明：按位右移

hive > select shiftright(16,1);

8

3.38 无符号按位右移函数：shiftrightunsigned

语法： shiftrightunsigned(BIGINT a, int b)

返回值： int bigint

说明：无符号按位右移（ < < <）

hive > select shiftrightunsigned(32,2)

8

3.39 求最大值函数：greatest

语法： greatest(T v1, T v2, …)

返回值： T

说明：求最大值

hive > select greatest(1,2,3);

3

3.40 求最小值函数：least

语法： least(T v1, T v2, …)

返回值： T

说明：求最小值

hive > select least(1,2,3);

1

3.41 银行家舍入法函数：bround

语法： bround(double a)

返回值： double

说明：银行家舍入法（1-4：舍，6-9：进，5- >前位数是偶：舍，5- >前位数是奇：进）

hive > select bround(3.5)

3.0

3.42 银行家精确舍入法函数：bround

语法： bround(double a，int d)

返回值： double

说明：银行家舍入法,保留d位小数

hive > select bround(3.15，1)

3.1

hive > select bround(3.25，1)

3.3

第4章日期函数

4.1 UNIX时间戳转日期函数： from _unixtime

语法： from _unixtime(bigint unixtime [, string format ])

返回值： string

说明：转化UNIX时间戳（从1970-01-01 00：00：00 UTC到指定时间的秒数）到当前时区的时间格式

+---------------------------------------------------------------------+
| hive > select from _unixtime(1323308943, 'yyyyMMdd ') from zuoyyyy; |
|                                                                     |
| 20111208                                                            |
+---------------------------------------------------------------------+

4.2 获取当前UNIX时间戳函数： unix _timestamp

语法： unix _timestamp()

返回值： bigint

说明：获得当前时区的UNIX时间戳

+-----------------------------------------------+
| hive > select unix _timestamp() from zuoyyyy; |
|                                               |
| 1323309615                                    |
+-----------------------------------------------+

4.3 日期转UNIX时间戳函数： unix _timestamp

语法： unix _timestamp(string date)

返回值： bigint

说明：转换格式为 "yyyy-MM-dd HH：mm：ss "的日期到UNIX时间戳。如果转化失败，则返回0。

+------------------------------------------------------------------------+
| hive > select unix _timestamp( '2011-12-07 13：01：03 ') from zuoyyyy; |
|                                                                        |
| 1323234063                                                             |
+------------------------------------------------------------------------+

4.4 指定格式日期转UNIX时间戳函数： unix _timestamp

语法： unix _timestamp(string date, string pattern)

返回值： bigint

说明：转换pattern格式的日期到UNIX时间戳。如果转化失败，则返回0。

+-----------------------------------------------------------------------+
| hive > select unix _timestamp( '20111207 13：01：03 ', 'yyyyMMdd      |
| HH：mm：ss ') from zuoyyyy;                                           |
|                                                                       |
| 1323234063                                                            |
+-----------------------------------------------------------------------+

4.5 日期时间转日期函数： to _date

语法： to _date(string timestamp)

返回值： string

说明：返回日期时间字段中的日期部分。

+-----------------------------------------------------------------+
| hive > select to _date( '2011-12-08 10：03：01 ') from zuoyyyy; |
|                                                                 |
| 2011-12-08                                                      |
+-----------------------------------------------------------------+

4.6 日期转年函数： year

语法： year(string date)

返回值： int

说明：返回日期中的年。

+-------------------------------------------------------------+
| hive > select year( '2011-12-08 10：03：01 ') from zuoyyyy; |
|                                                             |
| 2011                                                        |
|                                                             |
| hive > select year( '2012-12-08 ') from zuoyyyy;            |
|                                                             |
| 2012                                                        |
+-------------------------------------------------------------+

4.7 日期转月函数： month

语法： month (string date)

返回值： int

说明：返回日期中的月份。

+--------------------------------------------------------------+
| hive > select month( '2011-12-08 10：03：01 ') from zuoyyyy; |
|                                                              |
| 12                                                           |
|                                                              |
| hive > select month( '2011-08-08 ') from zuoyyyy;            |
|                                                              |
| 8                                                            |
+--------------------------------------------------------------+

4.8 日期转天函数： day

语法： day (string date)

返回值： int

说明：返回日期中的天。

+------------------------------------------------------------+
| hive > select day( '2011-12-08 10：03：01 ') from zuoyyyy; |
|                                                            |
| 8                                                          |
|                                                            |
| hive > select day( '2011-12-24 ') from zuoyyyy;            |
|                                                            |
| 24                                                         |
+------------------------------------------------------------+

4.9 日期转小时函数： hour

语法： hour (string date)

返回值： int

说明：返回日期中的小时。

+-------------------------------------------------------------+
| hive > select hour( '2011-12-08 10：03：01 ') from zuoyyyy; |
|                                                             |
| 10                                                          |
+-------------------------------------------------------------+

4.10 日期转分钟函数： minute

语法： minute (string date)

返回值： int

说明：返回日期中的分钟。

+---------------------------------------------------------------+
| hive > select minute( '2011-12-08 10：03：01 ') from zuoyyyy; |
|                                                               |
| 3                                                             |
+---------------------------------------------------------------+

4.11 日期转秒函数： second

语法： second (string date)

返回值： int

说明：返回日期中的秒。

+---------------------------------------------------------------+
| hive > select second( '2011-12-08 10：03：01 ') from zuoyyyy; |
|                                                               |
| 1                                                             |
+---------------------------------------------------------------+

4.12 日期转周函数： weekofyear

语法： weekofyear (string date)

返回值： int

说明：返回日期在当前的周数。

+-------------------------------------------------------------------+
| hive > select weekofyear( '2011-12-08 10：03：01 ') from zuoyyyy;  |
|                                                                   |
| 49                                                                |
+-------------------------------------------------------------------+

4.13 日期比较函数： datediff

语法： datediff(string enddate, string startdate)

返回值： int

说明：返回结束日期减去开始日期的天数。

+---------------------------------------------------------------------+
| hive > select datediff( '2012-12-08 ', '2012-05-09 ') from zuoyyyy; |
|                                                                     |
| 213                                                                 |
+---------------------------------------------------------------------+

4.14 日期增加函数： date _add

语法： date _add(string startdate, int days)

返回值： string

说明：返回开始日期startdate增加days天后的日期。

+----------------------------------------------------------+
| hive > select date _add( '2012-12-08 ',10) from zuoyyyy; |
|                                                          |
| 2012-12-18                                               |
+----------------------------------------------------------+

4.15 日期减少函数： date _sub

语法： date _sub (string startdate, int days)

返回值： string

说明：返回开始日期startdate减少days天后的日期。

hive > select date _sub( '2012-12-08 ',10) from zuoyyyy;

2012-11-28

4.16 转化成指定的时区下时间戳函数： from _utc _timestamp

语法： from _utc _timestamp(timestamp, string timezone)

返回值： timestamp

说明：如果给定的时间戳并非UTC，则将其转化成指定的时区下时间戳

hive > select from _utc _timestamp('1970-01-01 08：00：00','PST');

1970-01-01 00：00：00

4.17 转化成UTC下的时间戳函数： to _utc _timestamp

语法： to _utc _timestamp(timestamp, string timezone)

返回值： timestamp

说明：如果给定的时间戳指定的时区下时间戳，则将其转化成UTC下的时间戳。

hive > select to _utc _timestamp('1970-01-01 00：00：00','PST');

1970-01-01 08：00：00

4.18 当前时间日期函数：current _date

语法： current _date()

返回值： date

说明：返回当前时间日期

hive > select current _date;

2022-01-06

4.19 当前时间日期函数：current _timestamp

语法： current _timestamp()

返回值： timestamp

说明：返回当前时间戳

hive > select current _timestamp();

2022-01-06 22：52：11.309

4.20 月份增加函数：add _months

语法： add _months(string start _date, int num _months)

返回值： string

说明：返回当前时间下再增加num _months个月的日期

hive > select add _months('1996-10-21',10);

1997-08-21

4.21 最后一天的日期函数：last _day

语法： last _day(string date)

返回值： string

说明：返回这个月的最后一天的日期，忽略时分秒部分（HH：mm：ss）

hive > select last _day(current _date());

2020-07-31

4.22 下一个星期X所对应的日期函数：next _day

语法： next _day(string start _date, string day _of _week)

返回值： string

说明：返回当前时间的下一个星期X所对应的日期如：next _day(‘2015-01-14’, ‘TU’) = 2015-01-20 以2015-01-14为开始时间，其下一个星期二所对应的日期为2015-01-20

hive > select next _day(current _date(),'su');

2020-07-19

4.23 时间的最开始年份或月份函数：trunc

语法： trunc(string date, string format)

返回值： string

说明：返回时间的最开始年份或月份如trunc(“2016-06-26”,“MM”)=2016-06-01 trunc(“2016-06-26”,“YY”)=2016-01-01 注意所支持的格式为MONTH/MON/MM, YEAR/YYYY/YY

hive > select trunc(current _date(),'MM');

2020-07-01

4.24 相差的月份函数：months _between

语法： months _between(date1, date2)

返回值： double

说明：返回date1与date2之间相差的月份，如date1 >date2，则返回正，如果date1

hive > select months _between(current _date(),'2020-5-13');

2.0

4.25 指定格式返回时间函数：date _format

语法： date _format(date/timestamp/string ts, string fmt)

返回值： string

说明：按指定格式返回时间date 如：date _format(“2016-06-22”,“MM-dd”)=06-22

hive > select date _format(current _date(),'MM.dd');

07.13

4.26 当前星期函数：dayofweek

语法： dayofweek(date)

返回值： int

说明：返回日期那天的周几

hive > select dayofweek(current _date());

2

4.27 季节函数：quarter

语法： quarter(date/timestamp/string)

返回值： int

说明：返回当前时间属性哪个季度

hive > select quarter('2015-04-08');

2

第5章条件函数

5.1 If函数： if

语法： if(boolean testCondition, T valueTrue, T valueFalseOrNull)

返回值： T

说明：当条件testCondition为TRUE时，返回valueTrue；否则返回valueFalseOrNull（valueTrue，valueFalseOrNull为泛型）

hive > select if(1=1,100,200);

100

5.2 空查找函数： nvl

语法： nvl(T value, T default _value)

返回值： T

说明：如果value值为NULL就返回default _value,否则返回value

hive > select nvl(null,5);

5

5.3 非空查找函数： COALESCE

语法： COALESCE(T v1, T v2,…)

返回值： T

说明：返回参数中的第一个非空值；如果所有值都为NULL，那么返回NULL

hive > select COALESCE (NULL,44,55);

44

5.4 条件判断函数：CASE

语法： CASE a WHEN b THEN c [WHEN d THEN e ] * [ELSE f ] END

返回值： T

说明：如果a等于b，那么返回c；如果a等于d，那么返回e；否则返回f

hive > select CASE 4 WHEN 5 THEN 5 WHEN 4 THEN 4 ELSE 3 END;

4

5.5 条件判断函数：CASE

语法： CASE WHEN a THEN b [WHEN c THEN d ] * [ELSE e ] END

返回值： T

说明：如果a为TRUE,则返回b；如果c为TRUE，则返回d；否则返回e

hive > select CASE WHEN 5 >0 THEN 5 WHEN 4 >0 THEN 4 ELSE 0 END;

5

5.6 空值判断函数：isnull

语法： isnull( a )

返回值： boolean

说明：如果a为null就返回true，否则返回false

hive > select isnull(5);

false

5.7 非空值判断函数：isnotnull

语法： isnotnull ( a )

返回值： boolean

说明：如果a为非null就返回true，否则返回false

hive > select isnotnull(5);

true

第6章字符串函数

6.1 字符串长度函数：length

语法： length(string A)

返回值： int

说明：返回字符串A的长度

+-------------------------------------------------+
| hive > select length( 'abcedfg ') from zuoyyyy; |
|                                                 |
| 7                                               |
+-------------------------------------------------+

6.2 字符串反转函数：reverse

语法： reverse(string A)

返回值： string

说明：返回字符串A的反转结果

+-----------------------------------------------+
| hive > select reverse(abcedfg') from zuoyyyy; |
|                                               |
| gfdecba                                       |
+-----------------------------------------------+

6.3 字符串连接函数：concat

语法： concat(string A, string B…)

返回值： string

说明：返回输入字符串连接后的结果，支持任意个输入字符串

+--------------------------------------------------------+
| hive > select concat('abc', 'def', 'gh') from zuoyyyy; |
|                                                        |
| abcdefgh                                               |
+--------------------------------------------------------+

6.4 带分隔符字符串连接函数：concat _ws

语法： concat _ws(string SEP, string A, string B…)

返回值： string

说明：返回输入字符串连接后的结果，SEP表示各个字符串间的分隔符

+----------------------------------------------------------------------+
| hive > select concat _ws( ', ', 'abc ', 'def ', 'gh ') from zuoyyyy; |
|                                                                      |
| abc,def,gh                                                           |
+----------------------------------------------------------------------+

6.5 字符串截取函数：substr,substring

语法： substr(string A, int start),substring(string A, int start)

返回值： string

说明：返回字符串A从start位置到结尾的字符串

+---------------------------------------------------------------------+
| hive > select substr( 'abcde ',3) from zuoyyyy;                     |
|                                                                     |
| cde                                                                 |
|                                                                     |
| hive > select substring( 'abcde ',3) from zuoyyyy;                  |
|                                                                     |
| cde                                                                 |
|                                                                     |
| hive >  select substr( 'abcde ',-1) from zuoyyyy;  （和ORACLE相同） |
|                                                                     |
| e                                                                   |
+---------------------------------------------------------------------+

6.6 字符串截取函数：substr,substring

语法： substr(string A, int start, int len),substring(string A, int start, int len)

返回值： string

说明：返回字符串A从start位置开始，长度为len的字符串

+------------------------------------------------------+
| hive > select substr( 'abcde ',3,2) from zuoyyyy;    |
|                                                      |
| cd                                                   |
|                                                      |
| hive > select substring( 'abcde ',3,2) from zuoyyyy; |
|                                                      |
| cd                                                   |
|                                                      |
| hive >select substring( 'abcde ',-2,2) from zuoyyyy; |
|                                                      |
| de                                                   |
+------------------------------------------------------+

6.7 字符串转大写函数：upper,ucase

语法： upper(string A) ucase(string A)

返回值： string

说明：返回字符串A的大写格式

+----------------------------------------------+
| hive > select upper( 'abSEd ') from zuoyyyy; |
|                                              |
| ABSED                                        |
|                                              |
| hive > select ucase( 'abSEd ') from zuoyyyy; |
|                                              |
| ABSED                                        |
+----------------------------------------------+

6.8 字符串转小写函数：lower,lcase

语法： lower(string A) lcase(string A)

返回值： string

说明：返回字符串A的小写格式

+----------------------------------------------+
| hive > select lower( 'abSEd ') from zuoyyyy; |
|                                              |
| absed                                        |
|                                              |
| hive > select lcase( 'abSEd ') from zuoyyyy; |
|                                              |
| absed                                        |
+----------------------------------------------+

6.9 去空格函数：trim

语法： trim(string A)

返回值： string

说明：去除字符串两边的空格

+---------------------------------------------+
| hive > select trim( ' abc  ') from zuoyyyy; |
|                                             |
| abc                                         |
+---------------------------------------------+

6.10 左边去空格函数：ltrim

语法： ltrim(string A)

返回值： string

说明：去除字符串左边的空格

+----------------------------------------------+
| hive > select ltrim( ' abc  ') from zuoyyyy; |
|                                              |
| abc                                          |
+----------------------------------------------+

6.11 右边去空格函数：rtrim

语法： rtrim(string A)

返回值： string

说明：去除字符串右边的空格

+----------------------------------------------+
| hive > select rtrim( ' abc  ') from zuoyyyy; |
|                                              |
| abc                                          |
+----------------------------------------------+

6.12 正则表达式替换函数：regexp _replace

语法： regexp _replace(string A, string B, string C)

返回值： string

说明：将字符串A中的符合java正则表达式B的部分替换为C。注意，在有些情况下要使用转义字符,类似oracle中的regexp _replace函数。

+-----------------------------------------------------------------------+
| hive > select regexp _replace( 'foobar ',  'oo |ar ',  ' ') from iteb |
| log;                                                                  |
|                                                                       |
| fb                                                                    |
+-----------------------------------------------------------------------+

6.13 正则表达式解析函数：regexp _extract

语法： regexp _extract(string subject, string pattern, int index)

返回值： string

说明：将字符串subject按照pattern正则表达式的规则拆分，返回index指定的字符。

+-----------------------------------------------------------------------+
| hive > select regexp _extract( 'foothebar ',  'foo(. *?)(bar) ',      |
| 1) from zuoyyyy;                                                      |
|                                                                       |
| the                                                                   |
|                                                                       |
| hive > select regexp _extract( 'foothebar ',  'foo(. *?)(bar) ',      |
| 2) from zuoyyyy;                                                      |
|                                                                       |
| bar                                                                   |
|                                                                       |
| hive > select regexp _extract( 'foothebar ',  'foo(. *?)(bar) ',      |
| 0) from zuoyyyy;                                                      |
|                                                                       |
| foothebar                                                             |
|                                                                       |
| strong >注意，在有些情况下要使用转义字符，下面的等号要用双竖线转义，这是java正则表达式的规则。 |
|                                                                       |
|                                                                       |
| select data _field,                                                   |
|                                                                       |
|   regexp _extract(data _field, '. *?bgStart    =( [ ^& ]+) ',1) as aa |
| a,                                                                    |
|                                                                       |
|   regexp _extract(data _field, '. *?contentLoaded _headStart    =( [  |
| ^& ]+) ',1) as bbb,                                                   |
|                                                                       |
|   regexp _extract(data _field, '. *?AppLoad2Req    =( [ ^& ]+) ',1) a |
| s ccc                                                                 |
|                                                                       |
|   from pt _nginx _loginlog _st                                        |
|                                                                       |
|   where pt =  '2012-03-26 ' limit 2;                                  |
+-----------------------------------------------------------------------+

6.14 URL解析函数：parse _url

语法： parse _url(string urlString, string partToExtract [, string keyToExtract ])

返回值： string

说明：返回URL中指定的部分。partToExtract的有效值为：HOST, PATH, QUERY, REF, PROTOCOL, AUTHORITY, FILE, and USERINFO.

+-----------------------------------------------------------------------+
| hive > select parse _url( 'https：//www.zuoyyyy.com/path1/p.php?k1=v1& |
| k2=v2 #Ref1 ',  'HOST ') from zuoyyyy;                                |
|                                                                       |
| facebook.com                                                          |
|                                                                       |
| hive > select parse _url( 'https：//www.zuoyyyy.com/path1/p.php?k1=v1& |
| k2=v2 #Ref1 ',  'QUERY ',  'k1 ') from zuoyyyy;                       |
|                                                                       |
| v1                                                                    |
+-----------------------------------------------------------------------+

6.15 json解析函数：get _json _object

语法： get _json _object(string json _string, string path)

返回值： string

说明：解析json的字符串json _string,返回path指定的内容。如果输入的json字符串无效，那么返回NULL。

+-----------------------------------------------------------------------+
| hive > select  get _json _object( '{ "store "：                       |
|                                                                       |
|  >                                                                    |
| { "fruit "：   [{ "weight "：8, "type "： "apple "},{ "weight "：9, "type |
|  "： "pear "} ],                                                      |
|                                                                       |
|  >     "bicycle "：{ "price "：19.95, "color "： "red "}              |
|                                                                       |
|  >   },                                                               |
|                                                                       |
|  >   "email "： "amy@only _for _json _udf _zyyy.net ",                |
|                                                                       |
|  >   "owner "： "amy "                                                |
|                                                                       |
|  > }                                                                  |
|                                                                       |
|  >  ', ' $.owner ') from zuoyyyy;                                     |
|                                                                       |
| amy                                                                   |
+-----------------------------------------------------------------------+

6.16 空格字符串函数：space

语法： space(int n)

返回值： string

说明：返回长度为n的字符串

+-----------------------------------------------+
| hive > select space(10) from zuoyyyy;         |
|                                               |
| hive > select length(space(10)) from zuoyyyy; |
|                                               |
| 10                                            |
+-----------------------------------------------+

6.17 重复字符串函数：repeat

语法： repeat(string str, int n)

返回值： string

说明：返回重复n次后的str字符串

+-----------------------------------------------+
| hive > select repeat( 'abc ',5) from zuoyyyy; |
|                                               |
| abcabcabcabcabc                               |
+-----------------------------------------------+

6.18 首字符ascii函数：ascii

语法： ascii(string str)

返回值： int

说明：返回字符串str第一个字符的ascii码

+----------------------------------------------+
| hive > select ascii( 'abcde ') from zuoyyyy; |
|                                              |
| 97                                           |
+----------------------------------------------+

6.19 左补足函数：lpad

语法： lpad(string str, int len, string pad)

返回值： string

说明：将str进行用pad进行左补足到len位

+-----------------------------------------------------+
| hive > select lpad( 'abc ',10, 'td ') from zuoyyyy; |
|                                                     |
| tdtdtdtabc                                          |
|                                                     |
| 注意：与GP，ORACLE不同，pad 不能默认                    |
+-----------------------------------------------------+

6.20 右补足函数：rpad

语法： rpad(string str, int len, string pad)

返回值： string

说明：将str进行用pad进行右补足到len位

+-----------------------------------------------------+
| hive > select rpad( 'abc ',10, 'td ') from zuoyyyy; |
|                                                     |
| abctdtdtdt                                          |
+-----------------------------------------------------+

6.21 分割字符串函数： split

语法： split(string str, string pat)

返回值： array

说明：按照pat字符串分割str，会返回分割后的字符串数组

+-------------------------------------------------------+
| hive > select split( 'abtcdtef ', 't ') from zuoyyyy; |
|                                                       |
|  [ "ab ", "cd ", "ef " ]                              |
+-------------------------------------------------------+

6.22 集合查找函数： find _in _set

语法： find _in _set(string str, string strList)

返回值： int

说明：返回str在strlist第一次出现的位置，strlist是用逗号分割的字符串。如果没有找该str字符，则返回0

hive > select find _in _set( 'ab ', 'ef,ab,de ') from zuoyyyy;

2

hive > select find _in _set( 'at ', 'ef,ab,de ') from zuoyyyy;

0

6.23 转换成64位的字符串：base64

语法： base64(binary bin)

返回值： string

说明：将二进制bin转换成64位的字符串

6.24 字符串连接函数：context _ngrams

语法：context _ngrams(array, array, int K, int pf)

返回值： array >

说明：与ngram类似，但context _ngram()允许你预算指定上下文(数组)来去查找子序列，具体看StatisticsAndDataMining(这里的解释更易懂)

6.25 将数值X转换成 " #, # # #, # # #. # # "格式字符串：format _number

语法： format _number(number x, int d)

返回值： string

说明：将数值X转换成 " #, # # #, # # #. # # "格式字符串，并保留d位小数，如果d为0，将进行四舍五入且不保留小数

hive > select format _number(123345.65545,2);

123,345.66

6.26 指定的字符集将二进制值bin解码成字符串：decode

语法： decode(binary bin, string charset)

返回值： string

说明：使用指定的字符集charset将二进制值bin解码成字符串，支持的字符集有：‘US-ASCII’, ‘ISO-8859-1’, ‘UTF-8’, ‘UTF-16BE’, ‘UTF-16LE’, ‘UTF-16’，如果任意输入参数为NULL都将返回NULL

6.27 指定的字符集charset将字符串编码成二进制值：encode

语法： encode(string src, string charset)

返回值： binary

说明：使用指定的字符集charset将字符串编码成二进制值，支持的字符集有：‘US-ASCII’, ‘ISO-8859-1’, ‘UTF-8’, ‘UTF-16BE’, ‘UTF-16LE’, ‘UTF-16’，如果任一输入参数为NULL都将返回NULL

6.28 文件数据与字符串str匹配： in _file

语法： in _file(string str, string filename)

返回值： boolean

说明：如果文件名为filename的文件中有一行数据与字符串str匹配成功就返回true

6.29 查找字符串str中子字符串substr出现的位置：instr

语法： instr(string str, string substr)

返回值： int

说明：查找字符串str中子字符串substr出现的位置，如果查找失败将返回0，如果任一参数为Null将返回null，注意位置为从1开始的

hive > select instr('dvfgefggdgaa','aa');

11

6.30 第一次出现的位置：locate

语法： locate(string substr, string str [, int pos ])

返回值： int

说明：查找字符串str中的pos位置后字符串substr第一次出现的位置

hive > select locate('aa','aabbedfaad',2);

8

6.31 返回出现次数TOP K的的子序列：ngrams

语法： ngrams(array, int N, int K, int pf)

返回值： array >

说明：返回出现次数TOP K的的子序列,n表示子序列的长度，具体看StatisticsAndDataMining (这里的解释更易懂)

6.32 printf风格格式输出字符串：printf

语法：printf(String format, Obj… args)

返回值： string

说明：按照printf风格格式输出字符串

hive > select printf('abfhg');

Abfhg

6.33 字符串str将被转换成单词数组：sentences

语法： sentences(string str, string lang, string locale)

返回值： array

说明：字符串str将被转换成单词数组，如：sentences(‘Hello there! How are you?’) =( (“Hello”, “there”), (“How”, “are”, “you”) )

hive > select sentences('Hello there! How are you?');

 [ ["Hello","there" ], ["How","are","you" ] ]

6.34 字符串反转函数：reverse

[[]{#t294 .anchor}]{#t293 .anchor}语法：reverse(string A)

返回值： string

说明：返回字符串A的反转结果

hive > select reverse('abc');

cba

6.35 字符串str按照指定分隔符转换成Map： split

语法：str _to _map(text [, delimiter1, delimiter2 ])

返回值： map

说明：将字符串str按照指定分隔符转换成Map，第一个参数是需要转换字符串，第二个参数是键值对之间的分隔符，默认为逗号;第三个参数是键值之间的分隔符，默认为 "= "

6.36 截取第count分隔符之前的字符串：substring _index

语法： substring _index(string A, string delim, int count)

返回值： string

说明：截取第count分隔符之前的字符串，如count为正则从左边开始截取，如果为负则从右边开始截取

6.37 字符串替换成to中的字符串：substring _index

返回值： string

说明：将input出现在from中的字符串替换成to中的字符串如：translate(“MOBIN”,“BIN”,“M”)=“MOM”

hive > select translate("MOBIN","BIN","M");

MOM

6.38 首字母大写函数：initcap

语法：initcap(string A)

返回值： string

说明：将字符串A转换第一个字母大写其余字母的字符串

hive > select initcap('abcd def');

Abcd Def

6.39 两个字符串之间的差异大小： levenshtein

语法： levenshtein(string A, string B)

返回值： int

说明：计算两个字符串之间的差异大小如：levenshtein(‘kitten’, ‘sitting’) = 3

hive > select levenshtein('kitten', 'sitting');

3

6.40 字符串转换成soundex字符串：soundex

语法： soundex(string A)

返回值： string

说明：将普通字符串转换成soundex字符串

第7章聚合函数

7.1 个数统计函数： count

语法： count( *), count(expr), count(DISTINCT expr [, expr… ])

返回值： bigint

说明： count( *)统计检索出的行的个数，包括NULL值的行；count(expr)返回指定字段的非空值的个数；count(DISTINCTexpr [, expr _. ])统计提供非NULL且去重后的expr表达式值的行数

7.2 总和统计函数： sum

语法：sum(col), sum(DISTINCT col)

返回值： double

说明：sum(col)统计结果集中col的相加的结果；sum(DISTINCT col)统计结果中col不同值相加的结果

7.3 平均值统计函数： avg

语法：avg(col), avg(DISTINCT col)

返回值： double

说明：avg(col)统计结果集中col的平均值；avg(DISTINCT col)统计结果中col不同值相加的平均值

7.4 最小值统计函数： min

语法：min(col)

返回值： double

说明：统计结果集中col字段的最小值

7.5 最大值统计函数： max

语法：max(col)

返回值： double

说明：统计结果集中col字段的最大值

7.6 非空集合总体变量函数：var _pop

语法： variance(col), var _pop(col)

返回值： double

说明：统计结果集中col非空集合的总体变量（忽略null），（求指定列数值的方差）

7.7 非空集合样本变量函数：var _samp

语法： var _samp (col)

返回值： double

说明：统计结果集中col非空集合的样本变量（忽略null）（求指定列数值的样本方差）

7.8 总体标准偏离函数：stddev _pop

语法：stddev _pop(col)

返回值： double

说明：该函数计算总体标准偏离，并返回总体变量的平方根，其返回值与VAR _POP函数的平方根相同（求指定列数值的标准偏差）

7.9 样本标准偏离函数：stddev _samp

语法： stddev _samp (col)

返回值： double

说明：该函数计算样本标准偏离，（求指定列数值的样本标准偏差）

7.10 协方差函数：covar _pop

语法： covar _pop(col1, col2)

返回值： double

说明：求指定列数值的协方差

7.11 样本协方差函数：covar _samp

语法： covar _samp(col1, col2)

返回值： double

说明：求指定列数值的样本协方差

7.12 相关系数函数：corr

语法：corr(col1, col2)

返回值： double

说明：返回两列数值的相关系数

7.13 中位数函数：percentile

语法： percentile(BIGINT col, p)

返回值： double

说明：求准确的第pth个百分位数，p必须介于0和1之间，但是col字段目前只支持整数，不支持浮点数类型

7.14 中位数函数：percentile

语法： percentile(BIGINT col, array(p1 [, p2 ]…))

返回值： array

说明：功能和上述类似，之后后面可以输入多个百分位数，返回类型也为array，其中为对应的百分位数

select percentile(score, <0.2,0.4 >) from lxw _dual；取0.2，0.4位置的数据

1

7.15 近似中位数函数：percentile _approx

语法：percentile _approx(DOUBLE col, p [, B ])

返回值： double

说明：求近似的第pth个百分位数，p必须介于0和1之间，返回类型为double，但是col字段支持浮点类型。参数B控制内存消耗的近似精度，B越大，结果的准确度越高。默认为10,000。当col字段中的distinct值的个数小于B时，结果为准确的百分位数

7.16 近似中位数函数：percentile _approx

语法： percentile _approx(DOUBLE col, array(p1 [, p2 ]…) [, B ])

返回值： array

说明：功能和上述类似，之后后面可以输入多个百分位数，返回类型也为array，其中为对应的百分位数

7.17 直方图：histogram _numeric

语法： histogram _numeric(col, b)

返回值： array

说明：以b为基准计算col的直方图信息

hive > select histogram _numeric(100,5)

 [{"x"：100.0,"y"：1.0} ]

7.18 高级聚合：collect _list/collect _set

1）collect _list 收集并形成list集合，结果不去重

语法：collect _list(col)

返回值：array

说明：将某分组内该字段的所有值收集成为一个数组，结果不去重

hive >

select

sex,

collect _list(job)

from

employee

group by

sex

结果：

女  [ "行政 ", "研发 ", "行政 ", "前台 " ]

男  [ "销售 ", "研发 ", "销售 ", "前台 " ]

2）collect _set 收集并形成set集合，结果去重

语法：collect _set(col)

返回值：array

说明：将某分组内该字段的所有值收集成为一个数组，结果去重

hive >

select

sex,

collect _set(job)

from

employee

group by

sex

结果：

女  [ "行政 ", "研发 ", "前台 " ]

男  [ "销售 ", "研发 ", "前台 " ]

第8章表生成函数

8.1 explode

语法： explode(array a)

返回值： Array Type

说明：对于a中的每个元素，将生成一行且包含该元素

8.2 explode

语法： explode(ARRAY)

返回值：N rows

说明：每行对应数组中的一个元素

8.3 explode

语法： explode(MAP)

返回值：N rows

说明：每行对应每个map键-值，其中一个字段是map的键，另一个字段是map的值

8.4 posexplode

语法： posexplode(ARRAY)

返回值：N rows

说明：与explode类似，不同的是还返回各元素在数组中的位置

8.5 posexplode

语法： stack(INT n, v _1, v _2, …, v _k)

返回值：N rows

说明：把M列转换成N行，每行有M/N个字段，其中n必须是个常数

8.6 posexplode

语法： json _tuple(jsonStr, k1, k2, …)

返回值： tuple

说明：从一个JSON字符串中获取多个键并作为一个元组返回，与get _json _object不同的是此函数能一次获取多个键值

8.7 parse _url _tuple

语法： parse _url _tuple(url, p1, p2, …)

返回值： tuple

说明：返回从URL中抽取指定N部分的内容，参数url是URL字符串，而参数p1,p2,…是要抽取的部分，这个参数包含HOST, PATH, QUERY, REF, PROTOCOL, AUTHORITY, FILE, USERINFO, QUERY：

8.8 parse _url _tuple

语法： inline(ARRAY )

返回值： tuple

说明：将结构体数组提取出来并插入到表中

8.9 示例

一进多出（一行进入，多行输出）。

explode 将数组或者map展开

hive > select explode(array( 'a ', 'b ', 'd ', 'c '));

结果：

a

b

d

c

json _tuple 取出json字符串中属性的值

hive >

select json _tuple( '{ "name ": "王二狗 ", "sex ": "男 ", "age ": "25 "} ', 'name ', 'sex ', 'age ');

结果：

王二狗 男 25

第9章复合类型构建操作

9.1 Map类型构建： map

语法： map (key1, value1, key2, value2, …)

说明：根据输入的key和value对构建map类型

+-----------------------------------------------------------------------+
| hive > Create table zuoyyyy as select map( '100 ', 'tom ', '200 ', 'm |
| ary ') as t from zuoyyyy;                                             |
|                                                                       |
| hive > describe zuoyyyy;                                              |
|                                                                       |
| t       map <string ,string >                                         |
|                                                                       |
| hive > select t from zuoyyyy;                                         |
|                                                                       |
| { "100 "： "tom ", "200 "： "mary "}                                  |
+-----------------------------------------------------------------------+

9.2 Struct类型构建： struct

语法： struct(val1, val2, val3, …)

说明：根据输入的参数构建结构体struct类型

+-----------------------------------------------------------------------+
| hive > create table zuoyyyy as select struct( 'tom ', 'mary ', 'tim ' |
| ) as t from zuoyyyy;                                                  |
|                                                                       |
| hive > describe zuoyyyy;                                              |
|                                                                       |
| t       struct <col1：string ,col2：string,col3：string >             |
|                                                                       |
| hive > select t from zuoyyyy;                                         |
|                                                                       |
| { "col1 "： "tom ", "col2 "： "mary ", "col3 "： "tim "}              |
+-----------------------------------------------------------------------+

9.3 array类型构建： array

语法： array(val1, val2, …)

说明：根据输入的参数构建数组array类型

+-----------------------------------------------------------------------+
| hive > create table zuoyyyy as select array( "tom ", "mary ", "tim ") |
|  as t from zuoyyyy;                                                   |
|                                                                       |
| hive > describe zuoyyyy;                                              |
|                                                                       |
| t       array <string >                                               |
|                                                                       |
| hive > select t from zuoyyyy;                                         |
|                                                                       |
|  [ "tom ", "mary ", "tim " ]                                          |
+-----------------------------------------------------------------------+

第10章复杂类型访问操作

10.1 array类型访问： A [n ]

语法： A [n ]

操作类型： A为array类型，n为int类型

说明：返回数组A中的第n个变量值。数组的起始下标为0。比如，A是个值为 [ 'foo ', 'bar ’ ]的数组类型，那么A [0 ]将返回 'foo ',而A [1 ]将返回 'bar ’

+-----------------------------------------------------------------------+
| hive > create table zuoyyyy as select array( "tom ", "mary ", "tim ") |
|  as t from zuoyyyy;                                                   |
|                                                                       |
| hive > select t [0 ],t [1 ],t [2 ] from zuoyyyy;                      |
|                                                                       |
| tom     mary    tim                                                   |
+-----------------------------------------------------------------------+

10.2 map类型访问： M [key ]

语法： M [key ]

操作类型： M为map类型，key为map中的key值

说明：返回map类型M中，key值为指定值的value值。比如，M是值为{ 'f ’ - > 'foo ', 'b ’ - > 'bar ', 'all ’ - > 'foobar '}的map类型，那么M [ 'all ’ ]将会返回 'foobar ’

+-----------------------------------------------------------------------+
| hive > Create table zuoyyyy as select map( '100 ', 'tom ', '200 ', 'm |
| ary ') as t from zuoyyyy;                                             |
|                                                                       |
| hive > select t [ '200 ' ],t [ '100 ' ] from zuoyyyy;                 |
|                                                                       |
| mary    tom                                                           |
+-----------------------------------------------------------------------+

10.3 struct类型访问： S.x

语法： S.x

操作类型： S为struct类型

说明：返回结构体S中的x字段。比如，对于结构体struct foobar {int foo, int bar}，foobar.foo返回结构体中的foo字段

+-----------------------------------------------------------------------+
| hive > create table zuoyyyy as select struct( 'tom ', 'mary ', 'tim ' |
| ) as t from zuoyyyy;                                                  |
|                                                                       |
| hive > describe zuoyyyy;                                              |
|                                                                       |
| t       struct <col1：string ,col2：string,col3：string >             |
|                                                                       |
| hive > select t.col1,t.col3 from zuoyyyy;                             |
|                                                                       |
| tom     tim                                                           |
+-----------------------------------------------------------------------+

第11章复杂类型长度统计函数

11.1 Map类型长度函数： size(Map )

语法： size(Map )

返回值： int

说明：返回map类型的长度

+-------------------------------------------------------------------------+
| hive > select size(map( '100 ', 'tom ', '101 ', 'mary ')) from zuoyyyy; |
|                                                                         |
| 2                                                                       |
+-------------------------------------------------------------------------+

11.2 array类型长度函数： size(Array )

语法： size(Array )

返回值： int

说明：返回array类型的长度

+--------------------------------------------------------------------------+
| hive > select size(array( '100 ', '101 ', '102 ', '103 ')) from zuoyyyy; |
|                                                                          |
| 4                                                                        |
+--------------------------------------------------------------------------+

11.3 类型转换函数

1）转换成二进制： binary

语法： binary(string |binary)

返回值： binary

说明：将输入的值转换成二进制

2）类型转换函数： cast

语法： cast(expr as )

返回值： Expected "= " to follow "type "

说明：返回转换后的数据类型

+-----------------------------------------------+
| hive > select cast(1 as bigint) from zuoyyyy; |
|                                               |
| 1                                             |
+-----------------------------------------------+

第12章窗口函数

基本语法：函数 + over( [partition by … ] [order by … ] [窗口子句 ] )

·over表示开窗，默认窗口大小会包含所有数据。

·partition by表示根据字段再划分一个细窗口，相同字段进入同一个细窗口里面，每个窗口之间相互独立，窗口子句对于每个细窗口独立生效。

· order by表示窗口内按什么排序，如果只有over表示直接最大窗口排序；如果有partition by每个细窗口单独排序。

·窗口子句，可以进一步限定范围

(rows  | range) between (unbounded  |  [num ]) preceding and ( [num ] preceding  | current row  | (unbounded  |  [num ]) following

(rows  | range) between current row and (current row  | (unbounded  |  [num ]) following)

(rows  | range) between  [num ] following and (unbounded  |  [num ]) following

rows between unbounded preceding and unbounded following

行的范围为上无边界到下无边界（第一行到最后一行）。

注：窗口函数是一行一行执行的。

12.1 偏移量函数：lag

语法：lag(col,n,default _val)

返回值：字段类型

说明：往前第n行数据。

12.2 偏移量函数：lead

语法：lead(col,n, default _val)

返回值：字段类型

说明：往后第n行数据。

12.3 窗口分析函数：first _value

语法：first _value (col,true/false)

返回值：字段类型

说明：当前窗口下的第一个值，第二个参数为true，跳过空值。

12.4 窗口分析函数：last _value

语法：last _value (col,true/false)

返回值：字段类型

说明：当前窗口下的最后一个值，第二个参数为true，跳过空值。

12.5 跳跃排序函数：rank

语法：rank() over(…)

返回值：int

说明：排名相同时会重复，总数不会减少（12225…）。

12.6 不跳跃排序函数：dense _rank

语法：dense _rank() over(…)

返回值：int

说明：排名相同时会重复，总数会减少（12223…）。

12.7 顺序唯一的排序函数：row _number

语法：row _number() over(…)

返回值：int

说明：行号（1234567…）。

12.8 分组函数：lead

语法：ntile() over(…)

返回值：int

说明：分组并给上组号。

▼ 关注「漫话架构之美」，获取更多技术干货 ▼

你可能感兴趣的:(hive,大数据,hadoop)

nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
ES聚合分析原理与代码实例讲解光剑书架上的书大厂Offer收割机面试题简历程序员读书硅基计算碳基计算认知计算生物计算深度学习神经网络大数据 AIGC AGI LLM Java Python 架构设计 Agent 程序员实现财富自由
ES聚合分析原理与代码实例讲解1.背景介绍1.1问题的由来在大规模数据分析场景中，特别是在使用Elasticsearch（ES）进行数据存储和检索时，聚合分析成为了一个至关重要的功能。聚合分析允许用户对数据集进行细分和分组，以便深入探索数据的结构和模式。这在诸如实时监控、日志分析、业务洞察等领域具有广泛的应用。1.2研究现状目前，ES聚合分析已经成为现代大数据平台的核心组件之一。它支持多种类型的聚
WebMagic：强大的Java爬虫框架解析与实战 Aaron_945 Java java 爬虫开发语言
文章目录引言官网链接WebMagic原理概述基础使用1.添加依赖2.编写PageProcessor高级使用1.自定义Pipeline2.分布式抓取优点结论引言在大数据时代，网络爬虫作为数据收集的重要工具，扮演着不可或缺的角色。Java作为一门广泛使用的编程语言，在爬虫开发领域也有其独特的优势。WebMagic是一个开源的Java爬虫框架，它提供了简单灵活的API，支持多线程、分布式抓取，以及丰富的
免费的GPT可在线直接使用（一键收藏） kkai人工智能 gpt
1、LuminAI（https://kk.zlrxjh.top）LuminAI标志着一款融合了星辰大数据模型与文脉深度模型的先进知识增强型语言处理系统，旨在自然语言处理（NLP）的技术开发领域发光发热。此系统展现了卓越的语义把握与内容生成能力，轻松驾驭多样化的自然语言处理任务。VisionAI在NLP界的应用领域广泛，能够胜任从机器翻译、文本概要撰写、情绪分析到问答等众多任务。通过对大量文本数据的
如何利用大数据与AI技术革新相亲交友体验 h17711347205 回归算法安全系统架构交友小程序
在数字化时代，大数据和人工智能（AI）技术正逐渐革新相亲交友体验，为寻找爱情的过程带来前所未有的变革（编辑h17711347205）。通过精准分析和智能匹配，这些技术能够极大地提高相亲交友系统的效率和用户体验。大数据的力量大数据技术能够收集和分析用户的行为模式、偏好和互动数据，为相亲交友系统提供丰富的信息资源。通过分析用户的搜索历史、浏览记录和点击行为，系统能够深入了解用户的兴趣和需求，从而提供更
浅谈MapReduce Android路上的人 Hadoop 分布式计算 mapreduce 分布式框架 hadoop
从今天开始，本人将会开始对另一项技术的学习，就是当下炙手可热的Hadoop分布式就算技术。目前国内外的诸多公司因为业务发展的需要，都纷纷用了此平台。国内的比如BAT啦，国外的在这方面走的更加的前面，就不一一列举了。但是Hadoop作为Apache的一个开源项目，在下面有非常多的子项目，比如HDFS，HBase,Hive，Pig,等等，要先彻底学习整个Hadoop，仅仅凭借一个的力量，是远远不够的。
未来软件市场是怎么样的？做开发的生存空间如何？ cesske 软件需求
目录前言一、未来软件市场的发展趋势二、软件开发人员的生存空间前言未来软件市场是怎么样的？做开发的生存空间如何？一、未来软件市场的发展趋势技术趋势：人工智能与机器学习：随着技术的不断成熟，人工智能将在更多领域得到应用，如智能客服、自动驾驶、智能制造等，这将极大地推动软件市场的增长。云计算与大数据：云计算服务将继续普及，大数据技术的应用也将更加广泛。企业将更加依赖云计算和大数据来优化运营、提升效率，并
Hadoop 傲雪凌霜，松柏长青后端大数据 hadoop 大数据分布式
ApacheHadoop是一个开源的分布式计算框架，主要用于处理海量数据集。它具有高度的可扩展性、容错性和高效的分布式存储与计算能力。Hadoop核心由四个主要模块组成，分别是HDFS（分布式文件系统）、MapReduce（分布式计算框架）、YARN（资源管理）和HadoopCommon（公共工具和库）。1.HDFS（HadoopDistributedFileSystem）HDFS是Hadoop生
Hadoop架构 henan程序媛 hadoop 大数据分布式
一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代，数以万计用户的互联网服务时时刻刻都在产生大量的交互，要处理的数据量实在是太大了，以传统的数据库技术等其他手段根本无法应对数据处理的实时性、有效性的需求。HDFS顺应时代出现，在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合，
[转载] NoSQL简介 weixin_30325793 大数据数据库运维
摘自“百度百科”。NoSQL，泛指非关系型的数据库。随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。虽然NoSQL流行语
Kafka详细解析与应用分析芊言芊语 kafka 分布式
Kafka是一个开源的分布式事件流平台（EventStreamingPlatform），由LinkedIn公司最初采用Scala语言开发，并基于ZooKeeper协调管理。如今，Kafka已经被Apache基金会纳入其项目体系，广泛应用于大数据实时处理领域。Kafka凭借其高吞吐量、持久化、分布式和可靠性的特点，成为构建实时流数据管道和流处理应用程序的重要工具。Kafka架构Kafka的架构主要由
分享一个基于python的电子书数据采集与可视化分析 hadoop电子书数据分析与推荐系统 spark大数据毕设项目（源码、调试、LW、开题、PPT) 计算机源码社 Python项目大数据大数据 python hadoop 计算机毕业设计选题计算机毕业设计源码数据分析 spark毕设
作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
疫情，疫情东山草
2020年，疫情爆发，至今已近三年，反反复复，此起彼伏。不但没被消灭，还自我发展，从德尔塔到奥密克戎，与时俱进的变异着。去年11月，疫情之下，大数据800米范围内，都成为时空伴随者。“你的码儿有没有变颜色”“你绿码还是黄码”成为那段时间的流行语，当然少不了的还有全员核酸。段子手整出来一首歌：我走过你走过的路,这算不算相逢？我吹过你吹过的风，这算不算相拥？800米内我们不曾擦肩而过，你却要我14天相
在服务器计算节点中使用 jupyter Lab ranshan567 程序人生
JupyterLab是一个基于网页的交互式开发环境,用于科学计算、数据分析和机器学.jupyterlab是jupyternotebook的下一代产品,集成了更多功能,使用起来更方便.在进行数据分析及可视化时，个人电脑不能满足大数据的分析需求，就需要用到高性能计算机集群资源，然而计算机集群的计算节点往往没有联网功能，所以在计算机集群中使用jupyterLab需要进行一些配置。具体的步骤如下：
Presto【基础 01】简介+架构+数据源+数据模型 2401_84254343 程序员架构
一个Catalog包含Schema和Connector。例如，配置JMX的Catalog，通过JXMConnector访问JXM信息。当执行一条SQL语句时，可以同时运行在多个Catalog。Presto处理table时，是通过表的完全限定（fully-qualified）名来找到Catalog。例如，一个表的权限定名是hive.test_data.test，则test是表名，test_data是
大数据真实面试题---SQL The博宇大数据面试题——SQL 大数据 mysql sql 数据库 big data
视频号数据分析组外包招聘笔试题时间限时45分钟完成。题目根据3张表表结构，写出具体求解的SQL代码（搞笑品类定义：视频分类或者视频创建者分类为“搞笑”）1、表创建语句：createtablet_user_video_action_d(dsint,user_idstring,video_idstring,action_typeint,`timestamp`bigint)rowformatdelimi
hbase介绍 CrazyL- 云计算+大数据 hbase
hbase是一个分布式的、多版本的、面向列的开源数据库hbase利用hadoophdfs作为其文件存储系统，提供高可靠性、高性能、列存储、可伸缩、实时读写、适用于非结构化数据存储的数据库系统hbase利用hadoopmapreduce来处理hbase、中的海量数据hbase利用zookeeper作为分布式系统服务特点：数据量大：一个表可以有上亿行，上百万列（列多时，插入变慢）面向列：面向列（族）的
Flume：大规模日志收集与数据传输的利器傲雪凌霜，松柏长青后端大数据 flume 大数据
Flume：大规模日志收集与数据传输的利器在大数据时代，随着各类应用的不断增长，产生了海量的日志和数据。这些数据不仅对业务的健康监控至关重要，还可以通过深入分析，帮助企业做出更好的决策。那么，如何高效地收集、传输和存储这些海量数据，成为了一项重要的挑战。今天我们将深入探讨ApacheFlume，它是如何帮助我们应对这些挑战的。一、Flume概述ApacheFlume是一个分布式、可靠、可扩展的日志
云服务业界动态简报-20180128 Captain7
一、青云青云QingCloud推出深度学习平台DeepLearningonQingCloud，包含了主流的深度学习框架及数据科学工具包，通过QingCloudAppCenter一键部署交付，可以让算法工程师和数据科学家快速构建深度学习开发环境，将更多的精力放在模型和算法调优。二、腾讯云1.腾讯云正式发布腾讯专有云TCE(TencentCloudEnterprise)矩阵，涵盖企业版、大数据版、AI
大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏租房推荐系统 58同城租房爬虫房源推荐系统房价预测系统计算机毕业设计机器学习深度学习人工智能 2401_84572577 程序员大数据 hadoop 人工智能
做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
架构评审的自动化与人工智能: 如何提高效率光剑书架上的书架构自动化人工智能运维
1.背景介绍架构评审是软件开发过程中的一个关键环节，它旨在确保软件架构的质量、可维护性和可扩展性。传统的架构评审通常是由人工进行，需要大量的时间和精力。随着大数据技术和人工智能的发展，自动化和人工智能技术已经开始应用于架构评审，从而提高评审的效率和准确性。在本文中，我们将讨论如何通过自动化和人工智能技术来提高架构评审的效率。我们将从以下几个方面进行讨论：背景介绍核心概念与联系核心算法原理和具体操作
【数字化供应链】数字化供应链架构、全景管理、全流程贯通方案数字化建设方案数字化转型数据治理主数据数据仓库供应链数字仓储智慧物流智慧仓储物流园区架构微服务数据挖掘大数据人工智能
原文《数字化供应链架构、全景管理、全流程贯通方案》PPT格式。主要从供应链管理全景、智慧供应链建设总体目标、供应链总体业务流程、供应链总体功能架构、供应链总体技术架构、供应链全流程贯通、供应链全领域管理、供应链数据数据分析、供应链决策中台等进行建设。本文仅对主要内容进行介绍。来源网络公开渠道，旨在交流学习，如有侵权联系速删，更多参考公众号：优享智库基于先进IT技术、大数据能力、物联网应用、区块链平
80 鑫_259b
科普一个谈恋爱的方法。在以前，谈恋爱千难万难，就难在对对方不知底细，不知道对方希望自己是一个怎样的人，要耗费大量的时间去试探、再磨合，往往会因为一些小事一些细节，满盘皆输。在一个信息化的时代，在一个大数据近乎变成了流行语的时代，我们要跟上时代的步伐，通过大数据，去寻找异性最希望自己展现出来的形象是什么，才可以在爱情的道路上少走弯路。那这个大数据怎么操作呢？上街发问卷？问别人的择偶标准？一来会被打死
解锁企业潜能，Vatee万腾平台引领智能新纪元自媒体经济说其他
在数字化转型的浪潮中，企业正站在一个前所未有的十字路口，面对着前所未有的机遇与挑战。解锁企业内在潜能，实现跨越式发展，已成为众多企业的共同追求。而Vatee万腾平台，作为智能科技的先锋，正以其强大的智能赋能能力，引领企业步入一个全新的智能纪元。Vatee万腾平台，是一个集成了人工智能、大数据、云计算等前沿技术的综合性智能服务平台。它不仅仅是一个技术工具，更是企业转型升级的加速器，能够深入企业运营的
释放“AI+”新质生产力，深算院如何“把大数据变小”？ YashanDB YashanDB 国产数据库数据库数据库大数据
近期，南都·湾财社推出《新质·中国造》栏目，深入千行百业，遍访湾区企业，解锁湾区新质生产力，共探高质量发展之道。本期对话深圳计算科学研究院YashanDB首席技术官陈志标，探讨国产数据库如何实现创新突围，抢抓数字经济时代的新机遇。以下是专访内容：如何应对AI时代所面临的算力挑战？南都·湾财社：数据、算力和算法是发展人工智能的三要素，深算院做了怎样的前瞻性布局？陈志标：今年，政府工作报告中首次提及开
数字化智能工厂数字化供应链架构、全景管理、全流程贯通方案数字化建设方案智能制造数字工厂制造业数字化转型工业互联网架构
随着信息技术的飞速发展，数字化转型已成为制造企业提升竞争力的关键途径。数字化智能工厂通过集成先进的物联网(IoT)、大数据、云计算、人工智能(AI)等技术，实现了生产过程的智能化、供应链管理的精准化及决策的科学化。本方案旨在构建一套完善的数字化供应链架构，实现全景管理、全流程贯通、智慧化升级，以数据为驱动，强化技术支撑与安全管理体系，推动企业向智能制造迈进。一、数字化供应链架构1.**集成化平台构
日记——我的歌单静若小猴
又到一年一度大数据汇总的时候了，听歌已经成为很多人生活里的一种乐趣。春夏秋冬，我们都有自己喜欢的歌，歌词歌曲唱出沃尔玛你的心声。还记得大学时候最喜欢听的《春天里》，我有一天单曲回放了30遍，总觉得听着仿佛看到自己声音。还有的歌，初听不知曲中意，再听已经是曲终人，听着歌流泪，听着歌入睡……还记得那些年少的故事吗，总觉得自己才是故事外的人，却不是自己已经入歌。一段时间会喜欢一个人的音乐，一段时间会沉静
Linux dmesg命令：显示开机信息 fafadsj666 linux 数据库数据挖掘机器学习大数据
通过学习《Linux启动管理》一章可以知道，在系统启动过程中，内核还会进行一次系统检测（第一次是BIOS进行加测），但是检测的过程不是没有显示在屏幕上，就是会快速的在屏幕上一闪而过那么，如果开机时来不及查看相关信息，我们是否可以在开机后查看呢？答案是肯定的，使用dmesg命令就可以。无论是系统启动过程中，还是系统运行过程中，只要是内核产生的信息，都会被存储在系统缓冲区中，已经为大家精心准备了大数据
大数据新视界 --大数据大厂之揭秘大数据时代 Excel 魔法：大厂数据分析师进阶秘籍青云交大数据新视界 Excel 数据分析函数公式数据透视表图表功能规划求解数据分析工具库大数据新视界数据库
亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：Ja
大数据新视界 --大数据大厂之数据挖掘入门：用 R 语言开启数据宝藏的探索之旅青云交大数据新视界数据库大数据数据挖掘 R 语言算法案例未来趋势应用场景学习建议大数据新视界
亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：Ja
项目中枚举与注解的结合使用飞翔的马甲 java enum annotation
前言：版本兼容，一直是迭代开发头疼的事，最近新版本加上了支持新题型，如果新创建一份问卷包含了新题型，那旧版本客户端就不支持，如果新创建的问卷不包含新题型，那么新旧客户端都支持。这里面我们通过给问卷类型枚举增加自定义注解的方式完成。顺便巩固下枚举与注解。一、枚举 1.在创建枚举类的时候，该类已继承java.lang.Enum类，所以自定义枚举类无法继承别的类，但可以实现接口。
【Scala十七】Scala核心十一：下划线_的用法 bit1129 scala
下划线_在Scala中广泛应用，_的基本含义是作为占位符使用。_在使用时是出问题非常多的地方，本文将不断完善_的使用场景以及所表达的含义 1. 在高阶函数中使用 scala> val list = List(-3,8,7,9) list: List[Int] = List(-3, 8, 7, 9) scala> list.filter(_ > 7) r
web缓存基础：术语、http报头和缓存策略 dalan_123 Web
对于很多人来说，去访问某一个站点，若是该站点能够提供智能化的内容缓存来提高用户体验，那么最终该站点的访问者将络绎不绝。缓存或者对之前的请求临时存储，是http协议实现中最核心的内容分发策略之一。分发路径中的组件均可以缓存内容来加速后续的请求，这是受控于对该内容所声明的缓存策略。接下来将讨web内容缓存策略的基本概念，具体包括如如何选择缓存策略以保证互联网范围内的缓存能够正确处理的您的内容，并谈论下
crontab 问题周凡杨 linux crontab unix
一： 0481-079 Reached a symbol that is not expected. 背景： */5 * * * * /usr/IBMIHS/rsync.sh
让tomcat支持2级域名共享session g21121 session
tomcat默认情况下是不支持2级域名共享session的，所有有些情况下登陆后从主域名跳转到子域名会发生链接session不相同的情况，但是只需修改几处配置就可以了。打开tomcat下conf下context.xml文件找到Context标签,修改为如下内容如果你的域名是www.test.com <Context sessionCookiePath="/path&q
web报表工具FineReport常用函数的用法总结（数学和三角函数）老A不折腾 Web finereport 总结
ABS ABS(number):返回指定数字的绝对值。绝对值是指没有正负符号的数值。 Number:需要求出绝对值的任意实数。示例: ABS(-1.5)等于1.5。 ABS(0)等于0。 ABS(2.5)等于2.5。 ACOS ACOS(number):返回指定数值的反余弦值。反余弦值为一个角度，返回角度以弧度形式表示。 Number:需要返回角
linux 启动java进程 sh文件墙头上一根草 linux shell jar
#!/bin/bash #初始化服务器的进程PId变量 user_pid=0; robot_pid=0; loadlort_pid=0; gateway_pid=0; ######### #检查相关服务器是否启动成功 #说明： #使用JDK自带的JPS命令及grep命令组合，准确查找pid #jps 加 l 参数，表示显示java的完整包路径 #使用awk，分割出pid
我的spring学习笔记5-如何使用ApplicationContext替换BeanFactory aijuans Spring 3 系列
如何使用ApplicationContext替换BeanFactory？ package onlyfun.caterpillar.device; import org.springframework.beans.factory.BeanFactory; import org.springframework.beans.factory.xml.XmlBeanFactory; import
Linux 内存使用方法详细解析 annan211 linux 内存 Linux内存解析
来源 http://blog.jobbole.com/45748/ 我是一名程序员，那么我在这里以一个程序员的角度来讲解Linux内存的使用。一提到内存管理，我们头脑中闪出的两个概念，就是虚拟内存，与物理内存。这两个概念主要来自于linux内核的支持。 Linux在内存管理上份为两级，一级是线性区，类似于00c73000-00c88000，对应于虚拟内存，它实际上不占用
数据库的单表查询常用命令及使用方法(-) 百合不是茶 oracle 函数单表查询
创建数据库; --建表 create table bloguser(username varchar2(20),userage number(10),usersex char(2)); 创建bloguser表,里面有三个字段 &nbs
多线程基础知识 bijian1013 java 多线程 thread java多线程
一．进程和线程进程就是一个在内存中独立运行的程序，有自己的地址空间。如正在运行的写字板程序就是一个进程。 “多任务”：指操作系统能同时运行多个进程（程序）。如WINDOWS系统可以同时运行写字板程序、画图程序、WORD、Eclipse等。线程：是进程内部单一的一个顺序控制流。线程和进程 a. 每个进程都有独立的
fastjson简单使用实例 bijian1013 fastjson
一.简介阿里巴巴fastjson是一个Java语言编写的高性能功能完善的JSON库。它采用一种“假定有序快速匹配”的算法，把JSON Parse的性能提升到极致，是目前Java语言中最快的JSON库；包括“序列化”和“反序列化”两部分，它具备如下特征：
【RPC框架Burlap】Spring集成Burlap bit1129 spring
Burlap和Hessian同属于codehaus的RPC调用框架，但是Burlap已经几年不更新，所以Spring在4.0里已经将Burlap的支持置为Deprecated,所以在选择RPC框架时，不应该考虑Burlap了。这篇文章还是记录下Burlap的用法吧，主要是复制粘贴了Hessian与Spring集成一文，【RPC框架Hessian四】Hessian与Spring集成
【Mahout一】基于Mahout 命令参数含义 bit1129 Mahout
1. mahout seqdirectory $ mahout seqdirectory --input (-i) input Path to job input directory(原始文本文件). --output (-o) output The directory pathna
linux使用flock文件锁解决脚本重复执行问题 ronin47 linux lock　重复执行
linux的crontab命令，可以定时执行操作，最小周期是每分钟执行一次。关于crontab实现每秒执行可参考我之前的文章《linux crontab 实现每秒执行》现在有个问题，如果设定了任务每分钟执行一次，但有可能一分钟内任务并没有执行完成，这时系统会再执行任务。导致两个相同的任务在执行。例如： <? // test .php
java-74-数组中有一个数字出现的次数超过了数组长度的一半，找出这个数字 bylijinnan java
public class OcuppyMoreThanHalf { /** * Q74 数组中有一个数字出现的次数超过了数组长度的一半，找出这个数字 * two solutions: * 1.O(n) * see <beauty of coding>--每次删除两个不同的数字，不改变数组的特性 * 2.O(nlogn) * 排序。中间
linux 系统相关命令 candiio linux
系统参数 cat /proc/cpuinfo cpu相关参数 cat /proc/meminfo 内存相关参数 cat /proc/loadavg 负载情况性能参数 1）top M：按内存使用排序 P：按CPU占用排序 1：显示各CPU的使用情况 k：kill进程 o：更多排序规则回车：刷新数据 2）ulimit ulimit -a：显示本用户的系统限制参
[经营与资产]保持独立性和稳定性对于软件开发的重要意义 comsci 软件开发
一个软件的架构从诞生到成熟，中间要经过很多次的修正和改造如果在这个过程中，外界的其它行业的资本不断的介入这种软件架构的升级过程中那么软件开发者原有的设计思想和开发路线
在CentOS5.5上编译OpenJDK6 Cwind linux OpenJDK
几番周折终于在自己的CentOS5.5上编译成功了OpenJDK6，将编译过程和遇到的问题作一简要记录，备查。 0. OpenJDK介绍 OpenJDK是Sun（现Oracle）公司发布的基于GPL许可的Java平台的实现。其优点： 1、它的核心代码与同时期Sun（-> Oracle）的产品版基本上是一样的，血统纯正，不用担心性能问题，也基本上没什么兼容性问题；（代码上最主要的差异是
java乱码问题 dashuaifu java乱码问题 js中文乱码
swfupload上传文件参数值为中文传递到后台接收中文乱码在js中用setPostParams（{"tag" : encodeURI( document.getElementByIdx_x("filetag").value，"utf-8")}）; 然后在servlet中String t
cygwin很多命令显示command not found的解决办法 dcj3sjt126com cygwin
cygwin很多命令显示command not found的解决办法修改cygwin.BAT文件如下 @echo off D: set CYGWIN=tty notitle glob set PATH=%PATH%;d:\cygwin\bin;d:\cygwin\sbin;d:\cygwin\usr\bin;d:\cygwin\usr\sbin;d:\cygwin\us
[介绍]从 Yii 1.1 升级 dcj3sjt126com PHP yii2
2.0 版框架是完全重写的，在 1.1 和 2.0 两个版本之间存在相当多差异。因此从 1.1 版升级并不像小版本间的跨越那么简单，通过本指南你将会了解两个版本间主要的不同之处。如果你之前没有用过 Yii 1.1，可以跳过本章，直接从"入门篇"开始读起。请注意，Yii 2.0 引入了很多本章并没有涉及到的新功能。强烈建议你通读整部权威指南来了解所有新特性。这样有可能会发
Linux SSH免登录配置总结 eksliang ssh-keygen Linux SSH免登录认证 Linux SSH互信
转载请出自出处：http://eksliang.iteye.com/blog/2187265 一、原理我们使用ssh-keygen在ServerA上生成私钥跟公钥，将生成的公钥拷贝到远程机器ServerB上后,就可以使用ssh命令无需密码登录到另外一台机器ServerB上。生成公钥与私钥有两种加密方式，第一种是
手势滑动销毁Activity gundumw100 android
老是效仿ios，做android的真悲催！有需求：需要手势滑动销毁一个Activity 怎么办尼？自己写？不用~，网上先问一下百度。结果： http://blog.csdn.net/xiaanming/article/details/20934541 首先将你需要的Activity继承SwipeBackActivity，它会在你的布局根目录新增一层SwipeBackLay
JavaScript变换表格边框颜色 ini JavaScript html Web html5 css
效果查看：http://hovertree.com/texiao/js/2.htm代码如下，保存到HTML文件也可以查看效果： <html> <head> <meta charset="utf-8"> <title>表格边框变换颜色代码-何问起</title> </head> <body&
Kafka Rest : Confluent kane_xie kafka REST confluent
最近拿到一个kafka rest的需求，但kafka暂时还没有提供rest api（应该是有在开发中，毕竟rest这么火），上网搜了一下，找到一个Confluent Platform，本文简单介绍一下安装。这里插一句，给大家推荐一个九尾搜索，原名叫谷粉SOSO，不想fanqiang谷歌的可以用这个。以前在外企用谷歌用习惯了，出来之后用度娘搜技术问题，那匹配度简直感人。环境声明：Ubu
Calender不是单例 men4661273 单例 Calender
在我们使用Calender的时候，使用过Calendar.getInstance()来获取一个日期类的对象，这种方式跟单例的获取方式一样，那么它到底是不是单例呢，如果是单例的话，一个对象修改内容之后，另外一个线程中的数据不久乱套了吗？从试验以及源码中可以得出，Calendar不是单例。测试： Calendar c1 =
线程内存和主内存之间联系 qifeifei java thread
1， java多线程共享主内存中变量的时候，一共会经过几个阶段， lock:将主内存中的变量锁定，为一个线程所独占。 unclock:将lock加的锁定解除，此时其它的线程可以有机会访问此变量。 read:将主内存中的变量值读到工作内存当中。 load:将read读取的值保存到工作内存中的变量副本中。
schedule和scheduleAtFixedRate tangqi609567707 java timer schedule
原文地址：http://blog.csdn.net/weidan1121/article/details/527307 import java.util.Timer;import java.util.TimerTask;import java.util.Date; /** * @author vincent */public class TimerTest {
erlang 部署 wudixiaotie erlang
1.如果在启动节点的时候报这个错： {"init terminating in do_boot",{'cannot load',elf_format,get_files}} 则需要在reltool.config中加入 {app, hipe, [{incl_cond, exclude}]}, 2.当generate时，遇到： ERROR

hive常用函数大全

Hive常用函数大全

第1章 算数运算

1.1 加法： +

1.2 减法： -

1.3 乘法： *

1.4 除法： /

1.5 取余： %

1.6 位与： &

1.7 位或： |

1.8 位异或： ^

1.9 位取反： ~

第2章 关系运算

2.1 等值比较： =

2.2 不等值比较： < >

2.3 小于比较： <

2.4 小于等于比较： <=

2.5 大于比较： >

2.6 大于等于比较： >=

2.7 空值判断： IS NULL

2.8 非空判断： IS NOT NULL

2.9 LIKE比较： LIKE

2.10 JAVA的LIKE操作： RLIKE

2.11 REGEXP操作： REGEXP

第3章 数值函数

3.1 取整函数： round

3.2 指定精度取整函数： round

3.3 向下取整函数： floor

3.4 向上取整函数： ceil

3.5 向上取整函数： ceiling

3.6 取随机数函数： rand

3.7 自然指数函数： exp

3.8 以10为底对数函数： log10

3.9 以2为底对数函数： log2

3.10 对数函数： log

3.11 幂运算函数： pow

3.12 幂运算函数： power

3.13 开平方函数： sqrt

3.14 二进制函数： bin

3.15 十六进制函数： hex

3.16 绝对值函数： abs

3.17 反转十六进制函数： unhex

3.18 进制转换函数： conv

3.19 正取余函数： pmod

3.20 正弦函数： sin

3.21 反正弦函数： asin

3.22 余弦函数： cos

3.23 反余弦函数： acos

3.24 positive函数： positive

3.25 negative函数： negative

3.26自然对数函数： ln

3.27 正切函数：tan

3.28 反正切函数：atan

3.29 弧度值转换角度值：degrees

3.30 角度值转换成弧度值：radians

3.31 判断正负函数：sign

3.32 数学e函数：e

3.33 数学pi函数：pi

3.34 阶乘函数：factorial

3.35 立方根函数：cbrt

3.36 左移函数：shiftleft

3.37 右移函数：shiftright

3.38 无符号按位右移函数：shiftrightunsigned

3.39 求最大值函数：greatest

3.40 求最小值函数：least

3.41 银行家舍入法函数：bround

3.42 银行家精确舍入法函数：bround

第4章 日期函数

4.1 UNIX时间戳转日期函数： from _unixtime

4.2 获取当前UNIX时间戳函数： unix _timestamp

4.3 日期转UNIX时间戳函数： unix _timestamp

4.4 指定格式日期转UNIX时间戳函数： unix _timestamp

4.5 日期时间转日期函数： to _date

4.6 日期转年函数： year

4.7 日期转月函数： month

4.8 日期转天函数： day

4.9 日期转小时函数： hour

4.10 日期转分钟函数： minute

4.11 日期转秒函数： second

4.12 日期转周函数： weekofyear

第1章算数运算

第2章关系运算

第3章数值函数

第4章日期函数

第5章条件函数

第6章字符串函数

第7章聚合函数

第8章表生成函数

第9章复合类型构建操作