影夜life
影夜life

Hive SQL操作与函数自定义（二）

http://blog.csdn.net/u013980127/article/details/52606024

9 Operators and UDFs

9.1 内置运算符

9.1.1 关系运算符

操作符 运算对象的类型 描述
A <=> B ALL 都是NULL时，返回TRUE，有一为NULL时，返回FALSE，都不为NULL时，与‘=’运算符一样。
A <> B ALL A或B为NULL时，返回NULL，否则A不等于B是返回TRUE，反之FALSE。
A RLIKE B strings A或B为NULL时，返回NULL，A的子串与正则表达式B匹配时，返回TRUE，反之FALSE。
A REGEXP B strings 同A RLIKE B

其他不在此列举。

9.1.2 算数运算符

只要有一个操作数为NULL，结果为NULL。

Arithmetic Operators

9.1.3 逻辑运算符

Logical Operators

9.1.4 复杂类型

构造函数 操作数 描述
map (key1, value1, key2, value2, …) 创建map
struct (val1, val2, val3, …) 创建struct，属性名为col1, col2等
named_struct (name1, val1, name2, val2, …) 创建struct
array (val1, val2, …) 创建array
create_union (tag, val1, val2, …) 创建tag指向的union

9.1.5 复杂类型的运算符

运算符 操作数类型 描述
A[n] A是Array，n是int 返回数组A的第n个值
M[key] M是Map，key是K 返回key对应的value
S.x S是struct 返回属性x的值

9.2 内置函数

9.2.1 数学函数

返回类型 函数名 描述
DOUBLE round(DOUBLE a) 返回对a四舍五入的BIGINT值
DOUBLE round(DOUBLE a, INT d) 小数部分d位之后数字四舍五入
DOUBLE bround(DOUBLE a) 银行家舍入法（1~4：舍，6~9：进，5->前位数是偶：舍，5->前位数是奇：进）
DOUBLE bround(DOUBLE a, INT d) 银行家舍入法,保留d位小数
BIGINT floor(DOUBLE a) 对给定数据进行向下舍入最接近的整数
BIGINT ceil(DOUBLE a)
ceiling(DOUBLE a)		 将参数向上舍入为最接近的整数
DOUBLE rand()
rand(INT seed)		 返回大于或等于0且小于1的平均分布随机数
DOUBLE exp(DOUBLE a)
exp(DECIMAL a)		 返回e的n次方
DOUBLE ln(DOUBLE a)
ln(DECIMAL a)		 返回给定数值的自然对数
DOUBLE log10(DOUBLE a)
log10(DECIMAL a)		 返回给定数值的以10为底自然对数
DOUBLE log2(DOUBLE a)
log2(DECIMAL a)		 返回给定数值的以2为底自然对数
DOUBLE log(DOUBLE base, DOUBLE a)
log(DECIMAL base, DECIMAL a)		 返回给定底数及指数返回自然对数
DOUBLE pow(DOUBLE a, DOUBLE p)
power(DOUBLE a, DOUBLE p)		 返回某数的乘幂
DOUBLE sqrt(DOUBLE a)
sqrt(DECIMAL a)		 返回数值的平方根
STRING bin(BIGINT a) 返回二进制格式
string hex(BIGINT a)
hex(STRING a)
hex(BINARY a)		 将整数、字符或二进制转换为十六进制格式
binary unhex(STRING a) 十六进制字符转换由数字表示的字符。
string conv(BIGINT num, INT from_base, INT to_base)
conv(STRING num, INT from_base, INT to_base)		 将指定数值，由原来的度量体系转换为指定的体系。例如CONV(‘a’,16,2),返回。参考：’1010′
double abs(DOUBLE a) 取绝对值
int or double pmod(INT a, INT b)
pmod(DOUBLE a, DOUBLE b)		 返回a除b的余数的绝对值
double sin(DOUBLE a)
sin(DECIMAL a)		 返回给定角度的正弦值
double asin(DOUBLE a)
asin(DECIMAL a)		 返回x的反正弦，即是X。如果X是在-1到1的正弦值，返回NULL。
double cos(DOUBLE a)
cos(DECIMAL a)		 返回余弦
double acos(DOUBLE a)
acos(DECIMAL a)		 返回X的反余弦，即余弦是X，，如果-1<= A <= 1，否则返回null.
double tan(DOUBLE a)
tan(DECIMAL a)		 求正切值
double atan(DOUBLE a)
atan(DECIMAL a)		 求反正切值
double degrees(DOUBLE a)
degrees(DECIMAL a)		 将弧度值转换角度值
double radians(DOUBLE a)
radians(DOUBLE a)		 将角度值转换成弧度值
int or double positive(INT a)
positive(DOUBLE a)		 返回A的值，例如positive(2)，返回2。
int or double negative(INT a)
negative(DOUBLE a)		 返回A的相反数，例如negative(2),返回-2。
double or int sign(DOUBLE a)
sign(DECIMAL a)		 如果a是正数则返回1.0，是负数则返回-1.0，否则返回0.0
double e() 数学常数e
double pi() 数学常数pi
BIGINT factorial(INT a) 求a的阶乘
double cbrt(DOUBLE a) 求a的立方根
int
bigint		 shiftleft(TINYINT | SMALLINT | INT a, INT b)
shiftleft(BIGINT a, INT b)		 按位左移
int
bigint		 shiftright(TINYINT | SMALLINT | INT a, INT b)
shiftright(BIGINT a, INT b)		 按位右移
int
bigint		 shiftrightunsigned(TINYINT | SMALLINT | INT a, INT b)
shiftrightunsigned(BIGINT a, INT b)		 无符号按位右移（<<<）
T greatest(T v1, T v2, …) 求最大值
T least(T v1, T v2, …) 求最小值

9.2.2 集合函数

返回类型 函数名 描述
int size(Map) 返回Map的大小
int size(Array) 返回Array的大小
array map_keys(Map) 返回Map的key集合
array map_values(Map) 返回Map的value集合
boolean array_contains(Array, value) 返回Array是否包含value
array sort_array(Array) 返回Array按自然顺序升序排列后的数组

9.2.3 类型转换函数

返回类型 函数名 描述
binary binary(string | binary) 转换参数为binary
Expected “=” to follow “type” cast(expr as ) 转换表达式expr为type类型，例如cast(‘1’ as BIGINT)。如果转换不成功，则返回null；非空字符串转换为boolean，返回true。

9.2.4 日期函数

返回类型 函数名 描述
string from_unixtime(bigint unixtime[, string format]) 转化UNIX时间戳（从1970-01-01 00:00:00 UTC到指定时间的秒数）到当前时区的时间格式
bigint unix_timestamp() 获得当前时区的UNIX时间戳
bigint unix_timestamp(string date) 转换格式为“yyyy-MM-dd HH:mm:ss“的日期到UNIX时间戳。如果转化失败，则返回0
bigint unix_timestamp(string date, string pattern) 转换pattern格式的日期到UNIX时间戳。如果转化失败，则返回0。
pre 2.1.0: string
2.1.0 on: date		 to_date(string timestamp) 返回日期时间字段中的日期部分。
int year(string date) 返回日期中的年。
int quarter(date/timestamp/string) 返回第几季(1.3.0开始)
int month(string date) 返回日期中的月份
int day(string date) dayofmonth(date) 返回日期中的天
int hour(string date) 返回日期中的小时
int minute(string date) 返回日期中的分钟
int second(string date) 返回日期中的秒
int weekofyear(string date) 返回日期在当前的周数
int datediff(string enddate, string startdate) 返回结束日期减去开始日期的天数
pre 2.1.0: string
2.1.0 on: date		 date_add(string startdate, int days) 返回开始日期startdate增加days天后的日期
pre 2.1.0: string
2.1.0 on: date		 date_sub(string startdate, int days) 返回开始日期startdate减少days天后的日期
timestamp from_utc_timestamp(timestamp, string timezone) 转换UTC时间为指定时区的时间
timestamp to_utc_timestamp(timestamp, string timezone) 转换指定时区的时间为UTC时间
date current_date 返回查询时的日期
timestamp current_timestamp 返回查询时的时间
string add_months(string start_date, int num_months) 返回当前时间下再增加num_months个月的日期，如果当前日期是最后一天，则计算后的日期也为最后一天
string last_day(string date) 返回这个月的最后一天的日期，忽略时分秒部分（HH:mm:ss）
string next_day(string start_date, string day_of_week) 返回当前时间的下一个星期X所对应的日期。day_of_week是星期的2个、3个或整个单词 (e.g. Mo, tue, FRIDAY).
string trunc(string date, string format) 返回时间的最开始年份或月份 如trunc(“2016-06-26”,“MM”)=2016-06-01 trunc(“2016-06-26”,“YY”)=2016-01-01 注意所支持的格式为MONTH/MON/MM, YEAR/YYYY/YY
double months_between(date1, date2) 返回date1与date2之间相差的月份，如date1>date2，则返回正，如果date1
string date_format(date/timestamp/string ts, string fmt) 按指定格式返回时间date 如：date_format(“2016-06-22”,”MM-dd”)=06-22

9.2.5 条件函数

返回类型 函数名 描述
T if(boolean testCondition, T valueTrue, T valueFalseOrNull) testCondition为true，返回valueTrue，否则返回valueFalseOrNull
boolean isnull(a) a为null时，返回true；否则返回false
boolean isnotnull (a) a不为null时，返回true；否则返回false
T nvl(T value, T default_value) value为null时，返回default_value，否则返回value
T COALESCE(T v1, T v2, …) 返回第一个不为null的值，都为null时，返回null
T CASE a WHEN b THEN c [WHEN d THEN e]* [ELSE f] END 类似switch
T CASE WHEN a THEN b [WHEN c THEN d]* [ELSE e] END 类似if else语句
T nullif(a, b) a = b时，返回null，否则返回a

9.2.6 字符串函数

返回类型 函数名 描述
int ascii(string str) 返回str中首个ASCII字符串的整数值
string base64(binary bin) 将二进制bin转换成base64的字符串
string chr(bigint | double A) 返回ASCII字符，大于256，则A%256
string concat(string | binary A, string | binary B…) 对二进制字节码或字符串按次序进行拼接
array> context_ngrams(array>, array, int K, int pf) 与ngram类似，但context_ngram()允许你预算指定上下文(数组)来去查找子序列
string concat_ws(string SEP, string A, string B…) 与concat()类似，但使用指定的分隔符进行分隔
string concat_ws(string SEP, array) 拼接Array中的元素并用指定分隔符进行分隔
string decode(binary bin, string charset) 使用指定的字符集charset将二进制值bin解码成字符串，支持的字符集有：’US-ASCII’, ‘ISO-8859-1’, ‘UTF-8’, ‘UTF-16BE’, ‘UTF-16LE’, ‘UTF-16’，如果任意输入参数为NULL都将返回NULL
binary encode(string src, string charset) 使用指定的字符集charset将字符串编码成二进制值，支持的字符集有：’US-ASCII’, ‘ISO-8859-1’, ‘UTF-8’, ‘UTF-16BE’, ‘UTF-16LE’, ‘UTF-16’，如果任一输入参数为NULL都将返回NULL
int find_in_set(string str, string strList) 返回以逗号分隔的字符串中str出现的位置，如果参数str为逗号或查找失败将返回0，如果任一参数为NULL将返回NULL回
string format_number(number x, int d) 将数值X转换成”#,###,###.##”格式字符串，并保留d位小数，如果d为0，将进行四舍五入且不保留小数
string get_json_object(string json_string, string path) 从指定路径上的JSON字符串抽取出JSON对象，并返回这个对象的JSON格式，如果输入的JSON是非法的将返回NULL,注意此路径上JSON字符串只能由数字 字母 下划线组成且不能有大写字母和特殊字符，且key不能由数字开头，这是由于Hive对列名的限制
boolean in_file(string str, string filename) 如果文件名为filename的文件中有一行数据与字符串str匹配成功就返回true
int instr(string str, string substr) 查找字符串str中子字符串substr出现的位置，如果查找失败将返回0，如果任一参数为Null将返回null，注意位置为从1开始的
int length(string A) 返回字符串的长度
int locate(string substr, string str[, int pos]) 查找字符串str中的pos位置后字符串substr第一次出现的位置
string lower(string A) lcase(string A) 将字符串A的所有字母转换成小写字母
string lpad(string str, int len, string pad) 返回指定长度的字符串，给定字符串长度小于指定长度时，由指定字符从左侧填补。
string ltrim(string A) 删除字符串左边的空格，其他的空格保留
array> ngrams(array>, int N, int K, int pf) 返回出现次数TOP K的的子序列,n表示子序列的长度
string parse_url(string urlString, string partToExtract [, string keyToExtract]) 返回从URL中抽取指定部分的内容，参数url是URL字符串，而参数partToExtract是要抽取的部分，这个参数包含(HOST, PATH, QUERY, REF, PROTOCOL, AUTHORITY, FILE, and USERINFO,例如：parse_url(‘http://facebook.com/path1/p.php?k1=v1&k2=v2#Ref1‘, ‘HOST’) =’facebook.com’，如果参数partToExtract值为QUERY则必须指定第三个参数key 如：parse_url(‘http://facebook.com/path1/p.php?k1=v1&k2=v2#Ref1‘, ‘QUERY’, ‘k1’) =‘v1’
string printf(String format, Obj… args) 按照printf风格格式输出字符串
string regexp_extract(string subject, string pattern, int index) 抽取字符串subject中符合正则表达式pattern的第index个部分的子字符串，注意些预定义字符的使用，如第二个参数如果使用’\s’将被匹配到s,’\\s’才是匹配空格
string regexp_replace(string INITIAL_STRING, string PATTERN, string REPLACEMENT) 按照Java正则表达式PATTERN将字符串INTIAL_STRING中符合条件的部分成REPLACEMENT所指定的字符串，如里REPLACEMENT这空的话，抽符合正则的部分将被去掉 如：regexp_replace(“foobar”, “oo|ar”, “”) = ‘fb.’ 注意些预定义字符的使用，如第二个参数如果使用’\s’将被匹配到s,’\\s’才是匹配空格
string repeat(string str, int n) 重复输出n次字符串str
string replace(string A, string OLD, string NEW) 置换字符串
string reverse(string A) 反转字符串
string rpad(string str, int len, string pad) 从右边开始对字符串str使用字符串pad填充，最终len长度为止，如果字符串str本身长度比len大的话，将去掉多余的部分
string rtrim(string A) 去掉字符串后面出现的空格
array> sentences(string str, string lang, string locale) 字符串str将被转换成单词数组，如：sentences(‘Hello there! How are you?’) =( (“Hello”, “there”), (“How”, “are”, “you”) )
string space(int n) 返回n个空格
array split(string str, string pat) 按照正则表达式pat来分割字符串str,并将分割后的数组字符串的形式返回
map str_to_map(text[, delimiter1, delimiter2]) 将字符串str按照指定分隔符转换成Map，第一个参数是需要转换字符串，第二个参数是键值对之间的分隔符，默认为逗号;第三个参数是键值之间的分隔符，默认为”=”
string substr(string | binary A, int start)
substring(string | binary A, int start)		 对于字符串A,从start位置开始截取字符串并返回
string substr(string | binary A, int start, int len)
substring(string | binary A, int start, int len)		 对于二进制/字符串A,从start位置开始截取长度为length的字符串并返回
string substring_index(string A, string delim, int count) 截取第count分隔符之前的字符串，如count为正则从左边开始截取，如果为负则从右边开始截取
string translate(string | char | varchar input, string | char | varchar from, string | char | varchar to) 将input出现在from中的字符串替换成to中的字符串 如：translate(“MOBIN”,”BIN”,”M”)=”MOM”
string trim(string A) 将字符串A前后出现的空格去掉
binary unbase64(string str) 将64位的字符串转换二进制值
string upper(string A)
ucase(string A)		 将字符串A中的字母转换成大写字母
string initcap(string A) 将字符串A转换第一个字母大写其余字母的字符串
int levenshtein(string A, string B) 计算两个字符串之间的差异大小 如：levenshtein(‘kitten’, ‘sitting’) = 3
string soundex(string A) 将普通字符串转换成soundex字符串

9.2.7 数据脱敏函数(2.1.0新增)

返回类型 函数名 描述
string mask(string str[, string upper[, string lower[, string number]]]) 默认大写字母转化为’X’，小写字母转换为’x’，数字转换为“n”。通过参数可以修改掩码，例如：mask(“abcd-EFGH-8765-4321”, “U”, “l”, “#”) 返回”llll-UUUU-####-####”.
string mask_first_n(string str[, int n]) 转换方式同上默认处理，只处理前n个字符。mask_first_n(“1234-5678-8765-4321”, 4)返回”nnnn-5678-8765-4321”
string mask_last_n(string str[, int n]) 同上，但只处理最后n个字符
string mask_show_first_n(string str[, int n]) 只显示前n个字符，其他同上
string mask_show_last_n(string str[, int n]) 只显示最后n个字符，其他同上
string mask_hash(string | char | varchar str) 返回str的哈希值，可以用于表连接

9.2.8 其他函数

9.2.8.1 函数列表

返回类型 函数名 描述
varies java_method(class, method[, arg1[, arg2..]]) 同反射
varies reflect(class, method[, arg1[, arg2..]]) 同反射
int hash(a1[, a2…]) 返回参数的哈希值
string current_user() 返回当前用户
string current_database() 返回当前数据库
string md5(string/binary) 返回MD5（128位校验码）
string sha1(string/binary)
sha(string/binary)		 返回SHA-1摘要
bigint crc32(string/binary) 返回CRC
string sha2(string/binary, int) 返回SHA-2，参数2： 224, 256, 384, 512, 或 0（=256）中的一个，表示SHA-224, SHA-256, SHA-384, SHA-512。base64(aes_encrypt(‘ABC’, ‘1234567890123456’)) = ‘y6Ss+zCYObpCbgfWfyNWTw==’.
binary aes_encrypt(input string/binary, key string/binary) AES加密，key的长度必须是128、192或256位。aes_decrypt(unbase64(‘y6Ss+zCYObpCbgfWfyNWTw==’), ‘1234567890123456’) = ‘ABC’.
binary aes_decrypt(input binary, key string/binary) AES解密
string version() 返回Hive版本(2.1.0)

9.2.8.2 xpath

用于解析XML，javax.xml.xpath的封装。基于XPath 1.0。

XPath

XPathUDF

9.2.8.3 get_json_object

字符 含义
& 根
. 子
[] 数组下标
* []的通配符

9.3 内置聚合函数（UDAF）

返回类型 函数名 描述
BIGINT count(*) 统计总行数，包括含有NULL值的行
BIGINT count(expr) 统计提供非NULL的expr表达式值的行数
BIGINT count(DISTINCT expr[, expr…]) 统计提供非NULL且去重后的expr表达式值的行数
DOUBLE sum(col)
sum(DISTINCT col)		 求指定列的和
DOUBLE avg(col)
avg(DISTINCT col)		 求指定列的平均值
DOUBLE min(col) 求指定列的最小值
DOUBLE max(col) 求指定列的最大值
DOUBLE variance(col)
var_pop(col)		 求指定列数值的方差
DOUBLE var_samp(col) 求指定列数值的样本方差
DOUBLE stddev_pop(col) 求指定列数值的标准偏差
DOUBLE stddev_samp(col) 求指定列数值的样本标准偏差
DOUBLE covar_pop(col1, col2) 求指定列数值的协方差
DOUBLE covar_samp(col1, col2) 求指定列数值的样本协方差
DOUBLE corr(col1, col2) 返回两列数值的相关系数
DOUBLE percentile(BIGINT col, p) 返回数值区域的百分比数值点。0<=P<=1,否则返回NULL,不支持浮点型数值。
array percentile(BIGINT col, array(p1 [, p2]…)) 返回数值区域的一组百分比值分别对应的数值点。0<=P<=1,否则返回NULL,不支持浮点型数值
DOUBLE percentile_approx(DOUBLE col, p [, B]) 求近似的第pth个百分位数，p必须介于0和1之间，返回类型为double，但是col字段支持浮点类型。参数B控制内存消耗的近似精度，B越大，结果的准确度越高。默认为10,000。当col字段中的distinct值的个数小于B时，结果为准确的百分位数
array percentile_approx(DOUBLE col, array(p1 [, p2]…) [, B]) 功能和上述类似，之后后面可以输入多个百分位数，返回类型也为array，其中为对应的百分位数。
array histogram_numeric(col, b) 以b为基准计算col的直方图信息。
array collect_set(col) 返回无重复记录
array collect_list(col) 返回记录list
INTEGER ntile(INTEGER x) 用于将分组数据按照顺序切分成n片，返回当前切片值

9.4 内置Table-Generating函数（UDTF）

9.4.1 函数列表

返回类型 函数名 描述
N rows explode(ARRAY) 每行对应数组中的一个元素
N rows explode(MAP) 每行对应每个map键-值，其中一个字段是map的键，另一个字段是map的值
无 inline(ARRAY) 将结构体数组提取出来并插入到表中
array explode(array\ a) 对于a中的每个元素，将生成一行且包含该元素
tuple json_tuple(jsonStr, k1, k2, …) 从一个JSON字符串中获取多个键并作为一个元组返回，与get_json_object不同的是此函数能一次获取多个键值
tuple parse_url_tuple(url, p1, p2, …) 返回从URL中抽取指定N部分的内容，参数url是URL字符串，而参数p1,p2,….是要抽取的部分，这个参数包含HOST, PATH, QUERY, REF, PROTOCOL, AUTHORITY, FILE, USERINFO, QUERY:\
N rows posexplode(ARRAY) 与explode类似，不同的是还返回各元素在数组中的位置
N rows stack(INT n, v_1, v_2, …, v_k) 把v_1, v_2, …, v_k转换成N行，每行有M/N个字段，其中n必须是个常数


限制：
1. SELECT里面不能有其它字段；
2. 不能嵌套；
3. 不支持GROUP BY / CLUSTER BY / DISTRIBUTE BY / SORT BY。

9.5 GROUPing与SORTing

函数的别名不能用于group by或sort by，例如下面例子

select f(col) as fc, count(*) from table_name group by fc;

有两种变通方法：
1. 使用子查询；
2. 在group by或sort by中使用函数。

9.6 自定义函数

9.6.1 步骤

  1. 继承UDF、UDAF或UDTF，实现特定方法；
  2. 将写好的类打包为jar。例如hive-demo.jar;
  3. 进入Hive外壳环境中，利用add jar /home/zkpk/doc/hive/hive-demo.jar注册该jar文件；
  4. 为该类起别名，create temporary function mylength as ‘com.whut.StringLength’; 注意，只是会话临时定义。
  5. 使用mylength。

9.6.2 UDF

操作单个数据行，产生单个数据行；

package com.zw.hive.w4;

import org.apache.hadoop.hive.ql.exec.UDF;

/**
 *
 * 计算src中包含word的个数
 *
 * 

 *     UDF是作用于单个数据行，产生一个数据行;
 *     用户必须要继承UDF，且必须至少实现一个evalute方法，该方法并不在UDF中
 *     但是Hive会检查用户的UDF是否拥有一个evalute方法
 * 

 *
 * Created by zhangws on 16/8/27.
 */
public class CountSpecifyWordUDF extends UDF {

    /**
     * 计算src中包含word的个数
     * @param src src
     * @param word word
     * @return counter
     */
    public int evaluate(String src, String word) {
        try {
            int counter=0;
            if (!src.contains(word)) {
                return 0;
            }
            int pos;
            while((pos = src.indexOf(word)) != -1){
                counter++;
                src = src.substring(pos + word.length());
            }
            return counter;
        } catch (Exception e) {
            return 0;
        }
    }

}

9.6.3 UDAF

操作多个数据行，产生一个数据行。

编写通用型UDAF需要两个类：解析器和计算器。

9.6.3.1 解析器

负责UDAF的参数检查，操作符的重载以及对于给定的一组参数类型来查找正确的计算器。继承AbstractGenericUDAFResolver。

package com.zw.hive.w4.udaf;

import org.apache.hadoop.hive.ql.exec.UDFArgumentTypeException;
import org.apache.hadoop.hive.ql.parse.SemanticException;
import org.apache.hadoop.hive.ql.udf.generic.AbstractGenericUDAFResolver;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDAFEvaluator;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.typeinfo.TypeInfo;

/**
 * 计算分组中的最大值(获取计算器)
 * 
 *     
 *         add jar /home/zkpk/doc/hive-demo.jar;
 *         CREATE TEMPORARY FUNCTION collectList AS 'com.zw.hive.w4.udaf.CollectListUDAFResolver';
 *
 *
 *         数据准备(udaf_demo_data_1)
 *             1,a
 *             1,a
 *             1,b
 *             2,c
 *             2,d
 *             2,d
 *         创建表
            create external table hive_udaf_data_1 (
              id int,
              value string
            )
            comment 'UDAF演示表'
            row format delimited fields terminated by ','
            stored as textfile location '/hw/hive/udaf/1';
 *
 *         加载数据
 *           load data local inpath '/home/zkpk/doc/hive/udaf_demo_data_1' overwrite into table hive_udaf_data_1;
 *
 *         执行SQL
 *           SELECT id, collectList(value) FROM hive_udaf_data_1 GROUP BY id;
 *     
 * 

 * 

 * Created by zhangws on 16/9/18.
 */
public class CollectListUDAFResolver extends AbstractGenericUDAFResolver {

    /**
     * 返回计算器
     *
     * @param parameters
     *
     * @return
     *
     * @throws SemanticException
     */
    @Override
    public GenericUDAFEvaluator getEvaluator(TypeInfo[] parameters)
            throws SemanticException {
        if (parameters.length != 1) {
            throw new UDFArgumentTypeException(parameters.length - 1, "Exactly one argument is expected.");
        }
        if (parameters[0].getCategory() != ObjectInspector.Category.PRIMITIVE) {
            throw new UDFArgumentTypeException(0, "Only primitive type arguments are accepted.");
        }
        return new CollectListUDAFEvaluator();
    }
}

9.6.3.2 计算器

计算器实现具体的计算逻辑，需要继承GenericUDAFEvaluator抽象类。
计算器有4种模式，由枚举类GenericUDAFEvaluator.Mode定义：

public static enum Mode {  
    PARTIAL1, //从原始数据到部分聚合数据的过程（map阶段），将调用iterate()和terminatePartial()方法。
    PARTIAL2, //从部分聚合数据到部分聚合数据的过程（map端的combiner阶段），将调用merge() 和terminatePartial()方法。      
    FINAL,    //从部分聚合数据到全部聚合的过程（reduce阶段），将调用merge()和 terminate()方法。  
    COMPLETE  //从原始数据直接到全部聚合的过程（表示只有map，没有reduce，map端直接出结果），将调用merge() 和 terminate()方法。  
};

计算器必须实现的方法：
1、getNewAggregationBuffer()：返回存储临时聚合结果的AggregationBuffer对象。
2、reset(AggregationBuffer agg)：重置聚合结果对象，以支持mapper和reducer的重用。
3、iterate(AggregationBuffer agg,Object[] parameters)：迭代处理原始数据parameters并保存到agg中。
4、terminatePartial(AggregationBuffer agg)：以持久化的方式返回agg表示的部分聚合结果，这里的持久化意味着返回值只能Java基础类型、数组、基础类型包装器、Hadoop的Writables、Lists和Maps。
5、merge(AggregationBuffer agg,Object partial)：合并由partial表示的部分聚合结果到agg中。
6、terminate(AggregationBuffer agg)：返回最终结果。

通常还需要覆盖初始化方法ObjectInspector init(Mode m,ObjectInspector[] parameters)。

示例

package com.zw.hive.w4.udaf;

import com.google.common.collect.Lists;
import com.google.common.collect.Maps;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDAFEvaluator;
import org.apache.hadoop.hive.serde2.objectinspector.*;
import org.apache.hadoop.io.Text;

import java.util.Collections;
import java.util.List;
import java.util.Map;

/**
 * 实现按分组中元素的出现次数降序排序，并将每个元素的在分组中的出现次数也一起返回，格式为：[data1, num1, data2, num2, ...]
 * 

 * Created by zhangws on 16/9/19.
 */
public class CollectListUDAFEvaluator extends GenericUDAFEvaluator {

    protected PrimitiveObjectInspector inputKeyOI;
    protected StandardListObjectInspector loi;
    protected StandardListObjectInspector internalMergeOI;

    /**
     * 
     *     
     *     m:
     *       PARTIAL1 和 COMPLETE 时, parameters为原始数据;
     *       PARTIAL2 和 FINAL 时, parameters仅为部分聚合数据（只有一个元素）
     *
     *       PARTIAL1 和 PARTIAL2 时, terminatePartial方法的返回值;
     *       FINAL 和 COMPLETE 时, terminate方法的返回值.
     *     
     * 

     *
     * @param m          模式
     * @param parameters 数据参数
     *
     * @return
     *
     * @throws HiveException
     */
    @Override
    public ObjectInspector init(Mode m, ObjectInspector[] parameters) throws HiveException {
        super.init(m, parameters);

        if (m == Mode.PARTIAL1) { // 从原始数据到部分聚合数据的过程（map阶段），将调用iterate()和terminatePartial()方法。
            inputKeyOI = (PrimitiveObjectInspector) parameters[0];
            return ObjectInspectorFactory.getStandardListObjectInspector(
                    ObjectInspectorUtils.getStandardObjectInspector(inputKeyOI));
        } else {
            if (parameters[0] instanceof StandardListObjectInspector) {
                internalMergeOI = (StandardListObjectInspector) parameters[0];
                inputKeyOI = (PrimitiveObjectInspector) internalMergeOI.getListElementObjectInspector();
                loi = (StandardListObjectInspector) ObjectInspectorUtils.getStandardObjectInspector(internalMergeOI);
                return loi;
            } else {
                inputKeyOI = (PrimitiveObjectInspector) parameters[0];
                return ObjectInspectorFactory.getStandardListObjectInspector(
                        ObjectInspectorUtils.getStandardObjectInspector(inputKeyOI));
            }
        }
    }

    static class MkListAggregationBuffer extends AbstractAggregationBuffer {
        List container = Lists.newArrayList();
    }


    /**
     * 返回存储临时聚合结果的AggregationBuffer对象。
     */
    @Override
    public AggregationBuffer getNewAggregationBuffer() throws HiveException {
        return new MkListAggregationBuffer();
    }

    /**
     * 重置聚合结果对象，以支持mapper和reducer的重用。
     *
     * @param agg
     */
    @Override
    public void reset(AggregationBuffer agg) throws HiveException {
        ((MkListAggregationBuffer) agg).container.clear();
    }

    /**
     * 迭代处理原始数据parameters并保存到agg中。
     *
     * @param agg
     * @param parameters 原始数据
     */
    @Override
    public void iterate(AggregationBuffer agg, Object[] parameters) throws HiveException {
        if (parameters == null || parameters.length != 1) {
            return;
        }
        Object key = parameters[0];
        if (key != null) {
            MkListAggregationBuffer myagg = (MkListAggregationBuffer) agg;
            putIntoList(key, myagg.container);
        }
    }

    private void putIntoList(Object key, List container) {
        Object pCopy = ObjectInspectorUtils.copyToStandardObject(key, this.inputKeyOI);
        container.add(pCopy);
    }

    /**
     * 以持久化的方式返回agg表示的部分聚合结果，这里的持久化意味着返回值只能Java基础类型、数组、
     * 基础类型包装器、Hadoop的Writables、Lists和Maps。
     *
     * @param agg
     *
     * @return partial aggregation result.
     */
    @Override
    public Object terminatePartial(AggregationBuffer agg) throws HiveException {
        MkListAggregationBuffer myagg = (MkListAggregationBuffer) agg;
        return Lists.newArrayList(myagg.container);
    }

    /**
     * 合并由partial表示的部分聚合结果到agg中。
     *
     * @param agg
     * @param partial
     */
    @Override
    public void merge(AggregationBuffer agg, Object partial) throws HiveException {
        if (partial == null) {
            return;
        }
        MkListAggregationBuffer myagg = (MkListAggregationBuffer) agg;
        List partialResult = (List) internalMergeOI.getList(partial);
        for (Object ob : partialResult) {
            putIntoList(ob, myagg.container);
        }
    }

    /**
     * 返回最终结果。
     *
     * @param agg
     *
     * @return final aggregation result.
     */
    @Override
    public Object terminate(AggregationBuffer agg) throws HiveException {
        MkListAggregationBuffer myagg = (MkListAggregationBuffer) agg;
        Map map = Maps.newHashMap();
        // 统计相同值得个数
        for (int i = 0; i < myagg.container.size(); i++) {
            Text key = (Text) myagg.container.get(i);
            if (map.containsKey(key)) {
                map.put(key, map.get(key) + 1);
            } else {
                map.put(key, 1);
            }
        }
        // 排序
        List> listData = Lists.newArrayList(map.entrySet());
        Collections.sort(listData, (o1, o2) -> {
            if (o1.getValue() < o2.getValue())
                return 1;
            else if (o1.getValue().equals(o2.getValue()))
                return 0;
            else
                return -1;
        });

        // 合并输出
        List ret = Lists.newArrayList();
        for (Map.Entry entry : listData) {
            ret.add(entry.getKey());
            ret.add(new Text(entry.getValue().toString()));
        }
        return ret;
    }
} 
  
结果
 
  
1   ["a","2","b","1"]
2   ["d","2","c","1"]
 
  
9.6.4 UDTF
 
  
操作一个数据行，产生多个数据行一个表作为输出。
 
  
     
   
  1. 继承org.apache.hadoop.hive.ql.udf.generic.GenericUDTF,实现initialize, process, close三个方法。
    2.  
   
  2. UDTF首先会调用initialize方法，此方法返回UDTF的返回行的信息（返回个数，类型）。
    3.  
   
  3. 初始化完成后，会调用process方法,真正的处理过程在process函数中，在process中，每一次forward()调用产生一行；如果产生多列可以将多个列的值放在一个数组中，然后将该数组传入到forward()函数。
    4.  
   
  4. 最后close()方法调用，对需要清理的方法进行清理。
    5.  
  
 
  
示例： 
 将字符串（key1:20;key2:30;key3:40）按照分好拆分行按照冒号拆分列进行展示。
 
  
package com.zw.hive.w4.udtf;

import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.exec.UDFArgumentLengthException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;

import java.util.ArrayList;

/**
 *
 * 

 *     1. 继承org.apache.hadoop.hive.ql.udf.generic.GenericUDTF,实现initialize, process, close三个方法。
 *     2. UDTF首先会调用initialize方法，此方法返回UDTF的返回行的信息（返回个数，类型）。
 *     3. 初始化完成后，会调用process方法,真正的处理过程在process函数中，在process中，每一次forward()调用产生一行；
 *        如果产生多列可以将多个列的值放在一个数组中，然后将该数组传入到forward()函数。
 *     4. 最后close()方法调用，对需要清理的方法进行清理。
 *     5. 代码实例，实现的功能比较简单，将字符串（key1:20;key2:30;key3:40）按照分好拆分行按照冒号拆分列进行展示。
 * 

 *
 * 
 *     
 *         hive-demo.jar放到${HIVE_HOME}/auxli目录下
 *         CREATE TEMPORARY FUNCTION explode_map AS 'com.zw.hive.w4.udtf.ExplodeMapUDTF';
 *
 *         准备数据(hive_udtf_demo_data_1)
 *         key1:20;key2:30;key3:40
 *
           create external table udtf_demo_data_1 (
             value string
           );

 *         加载数据
 *           load data local inpath '/home/zkpk/doc/hive/udtf_demo_data_1' overwrite into table udtf_demo_data_1;
 *
 *         SELECT explode_map(value) AS (col1,col2) from udtf_demo_data_1;
 *     
 * 

 *
 * Created by zhangws on 16/9/18.
 */
public class ExplodeMapUDTF extends GenericUDTF {

    /**
     * 返回UDTF的返回行的信息（返回个数，类型）
     * @param args
     * @return
     * @throws UDFArgumentException
     */
    @Override
    public StructObjectInspector initialize(ObjectInspector[] args) throws UDFArgumentException {
        if (args.length != 1) {
            throw new UDFArgumentLengthException("ExplodeMap takes only one argument");
        }
        if (args[0].getCategory() != ObjectInspector.Category.PRIMITIVE) {
            throw new UDFArgumentException("ExplodeMap takes string as a parameter");
        }

        ArrayList fieldNames = new ArrayList();
        ArrayList fieldOIs = new ArrayList();
        fieldNames.add("col1");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        fieldNames.add("col2");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);

        return ObjectInspectorFactory.getStandardStructObjectInspector(fieldNames, fieldOIs);
    }

    /**
     * 每一次forward()调用产生一行；如果产生多列可以将多个列的值放在一个数组中，然后将该数组传入到forward()函数。
     * @param args
     * @throws HiveException
     */
    @Override
    public void process(Object[] args) throws HiveException {
        String input = args[0].toString();
        String[] test = input.split(";");
        for (String aTest : test) {
            try {
                String[] result = aTest.split(":");
                forward(result);
            } catch (Exception e) {
                // nothing
            }
        }
    }

    /**
     * 对需要清理的方法进行清理。
     * @throws HiveException
     */
    @Override
    public void close() throws HiveException {

    }
}
 
  
结果
 
  
hive> CREATE TEMPORARY FUNCTION explode_map AS 'com.zw.hive.w4.udtf.ExplodeMapUDTF';
OK
Time taken: 0.02 seconds
hive> SELECT explode_map(value) AS (col1,col2) from udtf_demo_data_1;
OK
key1    20
key2    30
key3    40
 
  
9.6.5 添加自定义函数的jar文件
 
  
     
   
  1. 使用add path/test.jar 
     缺点是每次启动Hive的时候都要新加入。
    2.  
   
  2. 配置hive-site.xml加入
     
    <property>
<name>hive.aux.jars.pathname>
<value>file:///jarpath/all_new1.jar,file:///jarpath/all_new2.jarvalue>
property>
    3.  
   
  3. 在${HIVE_HOME}中创建文件夹auxlib，然后将自定义jar文件放入该文件夹中。
    4.  
  
 
  
9.6.6 调试
 
  
     
   
  1. 以debug模式启动Cli，${HIVE_HOME}/bin/hive –debug。进程会监听在8000端口等待调试连接。如果想更改监听端口，可以修改配置文件:
     
    ${HIVE_HOME}bin/ext/debug.sh 。
    2.  
   
  2. 在Eclipse中, 选择Debug configurations->Remote Java Application，填好Host和Port，并选中包含UDF的工程,确定。
    3.  
   
  3. 在idea中，选择Remote，修改host与port，确定。
    4.  
  
 
  
Hive SQL操作与函数自定义（二）_第1张图片
 
  
Hive SQL操作与函数自定义（二）_第2张图片
 
  
Hive SQL操作与函数自定义（二）_第3张图片
 
  
Hive SQL操作与函数自定义（二）_第4张图片
 
  
9.6.7 参考
 
  
Hive通用型自定义聚合函数（UDAF）
 
  
HIVE自定义函数之UDF，UDAF和UDTF
 
  
Hive自定义UDF和聚合函数UDAF
 
  
Hive中添加自定义udf udaf udtf等函数的jar文件的三种方法
 
  
idea Intellij 远程调试java程序 
 
  
9.7 参考
 
  
Hive2.0函数大全(中文版)
 
  
Hive 随谈（六）– Hive 的扩展特性
 
  
10 Locks
 
  
Hive 并发模型
 
  
Hive 使用陷阱（Lock table） 排查过程
 
  
Hive 表被锁定，无法删除表
 
  
11 Authorization
 
  
基于SQL标准的Hive授权
 
  
hive权限控制
 
  
hive权限管理
 
  
12 Hive HPL/SQL
 
  
在Hive中实现存储过程–HQL/SQL
 
  
Hive存储过程HQL/SQL（一）–hplsql命令行
 
  
13 Hive Configuration Properties
 
  
Hive Configuration Properties
 
  
14 参考
 
  
     
   
  1. 官方文档
    2.  
   
  2. Hive基本操作
    3.  
   
  3. Hive相关
    4.  
   
  4. Hive中数据的加载和导出
    5.  
  
 
  

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(Hive SQL操作与函数自定义（二）)

        

            

                
    
                    
  • 43-3 应急响应 - WebShell查杀工具
                        技术探索
Web安全攻防全解析web安全安全
                        
    一、WebShell简介WebShell是一种以asp、php、jsp等网页文件形式存在的代码执行环境，通常用于网站管理、服务器管理和权限管理等操作。然而，如果被入侵者利用，它也可以用于控制网站服务器。具有完整功能的WebShell通常被称为"大马"，而功能简单的则称为"小马"。WebShell的存在可能对网络安全构成威胁，因此在网络管理中应当严格加以防范。二、D盾D盾使用自行研发的代码分析引擎，
    
                    
    • 
                    
  • 云计算技术深度解析与代码使用案例
                        我的运维人生
云计算运维开发技术共享
                        
    云计算技术深度解析与代码使用案例引言随着信息技术的飞速发展，云计算作为一种革命性的技术，正在逐步改变我们的生活和工作方式。云计算不仅提供了前所未有的计算能力和存储资源，还以其灵活性和可扩展性，成为现代企业数字化转型的重要支撑。本文将深入探讨云计算的核心技术、应用场景，并通过一个具体的代码使用案例，展示如何在云计算平台上实现一个基本的应用程序。云计算技术特点云计算是网格计算、分布式计算、并行计算、效
    
                    
    • 
                    
  • 【PyCharm】将包含多个参数的 shell 脚本配置到执行文件来调试 Python 程序
                        shengchao0920
pythonpycharmide
                        
    要配置PyCharm以使用包含多个参数的shell脚本（如run.sh）来调试Python程序，您可以按照以下步骤操作：创建一个新的运行/调试配置：在PyCharm中，点击“运行”菜单旁边的齿轮图标，选择“编辑配置”（或使用快捷键Ctrl+Shift+Alt+S）。点击左上角的“+”号，选择“Python”。配置脚本参数：在新创建的配置中，您需要设置“脚本路径”为您的Python脚本路径（在这个例
    
                    
    • 
                    
  • python画与x轴平行_少儿编程：python趣味编程第一课
                        weixin_39762478
python画与x轴平行
                        
    本文仅针对8-16岁的青少年，所以流程是按如何去教好中小学生走的，并不适合成人找工作学习，因为进度也是按照青少年走的大家好，我是C大叔，从事少儿编程行业三年有余(2016年从事少儿编程行业，少儿编程概念是2015年在中国正式提出的)。一直以来都是在做scratch，JavaScript以及信息学奥赛C++的讲师，教研等工作，但目前发现python课程非常火爆，为了让小朋友也能更好的学python课
    
                    
    • 
                    
  • python一个函数调用另一个函数里面的值_Python学习笔记（10）-函数之函数定义、调用、参数、返回值、嵌套...
                        weixin_39631689

                        
    函数函数定义将实现某个独立功能的代码组合在一起，命一个名字，再需要使用这段代码时通过所命的名字来使用，就叫做函数使用函数的好处：1、将代码模块化（升级或修改某一个功能时只更新相应函数即可）2、方便代码重复使用（不需要多次重复编写代码只需多次调用即可）函数定义的格式：def函数名():代码块如定义一个打印名片函数：注意：1、函数名命名规则与变量命名规则一致，但一般不使用大驼峰命名方式2、定义函数只是
    
                    
    • 
                    
  • nginx实现内网服务唯一端口外网映射
                        weixin_33896069
运维数据库
                        
    2.1内网服务唯一端口外网映射(一)组网图(二)简要说明：如标题所示，该功能可以实现内网环境下所有服务端口通过nginx的正向代理通过唯一端口映射至外网环境；且当本地服务设置特定域名后，外网可直接使用内网服务自定义的域名加映射端口进行访问。如下图：实现功能：外网访问各个服务自定义的域名+统一的映射端口进行访问。可解决问题：(一)映射端口量实现无限量有效解决内网路由端口数量不足的情况，由于常规的路由
    
                    
    • 
                    
  • Tensor 基本操作2 理解 tensor.max 操作，沿着给定的 dim 是什么意思 | PyTorch 深度学习实战
                        Chatopera 研发团队
机器学习深度学习pytorch人工智能
                        
    前一篇文章，Tensor基本操作1|PyTorch深度学习实战本系列文章GitHubRepo:https://github.com/hailiang-wang/pytorch-get-started目录Tensor基本操作torch.max默认指定维度Tensor基本操作torch.maxtorch.max实现降维运算，基于指定的dim选取子元素的最大值。默认a=torch.randn(1,3)p
    
                    
    • 
                    
  • 尚硅谷《vue》——笔记一
                        树天先森
前端vue
                        
    文章目录前言一、数据绑定1.模板语法2.数据绑定3.el与data的两种写法二、MVVM三、数据代理四、事件处理1.绑定事件2.事件修饰符（前四个常用）3.滚动和键盘事件五、计算属性六、监视属性watch属性watch与computed对比是否使用箭头函数七、绑定样式八、条件渲染九、列表1.渲染2.过滤、排序十、Vue监视数据1.监视原理--对象2.在对象中追加属性——$set方法3.监视数组十一
    
                    
    • 
                    
  • 功率器件-功率晶体管 GTR
                        清凉简装

                        
    GTR结构与特性GiantTransistor：压降小，速度快GTR晶体三极管的三种工作状态截止状态：当加在三极管发射结的电压小于PN结的导通电压，基极电流为零，集电极电流和发射极电流都为零，三极管这时失去了电流放大作用，集电极和发射极之间相当于开关的断开状态，我们称三极管处于截止状态。放大状态：当加在三极管发射结的电压大于PN结的导通电压，并处于某一恰当的值时，三极管的发射结正向偏置，集电结反
    
                    
    • 
                    
  • AiLab: 探索人工智能的前沿实验室
                        m0_75126181
人工智能
                        
    AiLab:引领人工智能创新的实验平台在人工智能快速发展的今天,如何让更多人了解并参与到AI技术的创新中来,成为一个重要的课题。AiLab(人工智能实验室)应运而生,作为一个面向全球开发者和组织的开放平台,AiLab致力于推动AI技术的普及与创新。AiLab的使命与愿景AiLab的核心使命是帮助开发者和组织快速上手AI技术,体验最新的AI创新成果。通过提供丰富的实验项目、教育资源和研究成果,AiL
    
                    
    • 
                    
  • Python绘制汽车（完整代码）
                        Want595
Python趣味编程python开发语言
                        
    系列专栏《Python趣味编程》《C/C++趣味编程》《HTML趣味编程》《Java趣味编程》写在前面Python绘制一辆小汽车的完整代码。技术需求Turtle库基本操作：画笔控制：通过
    
                    
    • 
                    
  • Python教师信息管理系统（完整代码）
                        Want595
Python趣味编程算法python
                        
    目录写在前面技术需求完整代码下载代码代码分析一、类的设计与功能1.__init__方法2.add方法3.delete方法4.update方法5.search方法二、程序的主要流程1.输入与输出2.异常处理3.用户操作的逻辑三、代码的优化1.输入数据的验证2.数据存储3.提示信息的增强4.功能扩展四、总结系列文章写在后面写在前面Python语言实现教师信息管理系统的完整代码。技术需求面向对象编程(O
    
                    
    • 
                    
  • Python学生信息管理系统（完整代码）
                        Want595
Python趣味编程python开发语言
                        
    目录写在前面技术需求完整代码下载代码代码分析1.类与对象的设计2.学生信息管理功能2.1添加学生信息2.2删除学生信息2.3修改学生信息2.4查询学生信息2.5按学号排序3.用户交互部分3.1菜单系统3.2用户输入处理3.3根据用户选择执行操作4.异常处理与程序健壮性5.总结系列文章写在后面写在前面Python语言实现学生信息管理系统的完整代码。技术需求类和对象：使用了StudentManager
    
                    
    • 
                    
  • 远动传输规约之IEC60870-5-104篇
                        木木0o0欧尼
随笔tcp网络服务器internetsocketnumbers
                        
    1)IEC-60870-5-104的规约结构IEC-60870-5-104远动规约使用的参考模型源出于开放式系统互联的ISO-OSI参考模型，但它只采用其中的5层，其结构如图所示：IEC60870-5-104实际上是将IEC60870-5-101与TCP／IP（TransmissionControlProtocol／InternetProtocol）提供的网络传输功能相组合，使得IEC60870-
    
                    
    • 
                    
  • 基于springboot的校园二手交易系统-JAVA【数据库设计、论文、源码、开题报告】
                        IT毕设(商务合作)
java实战项目资料java数据库springboot
                        
    功能介绍管理员：首页、管理员管理、员工管理、客户管理、潜在客户管理、销售管理、业务管理、项目管理等代理：首页、个人中心、商品信息管理、仓库信息管理、采购进货管理、采购退货管理、销售出货管理、销售退货管理、盘点信息管理、订单信息管理、配送信息管理、等等小程序：首页、商品信息、我的（订单信息、配送信息、我的收藏管理）等数据库脚本/*SQLyogUltimatev9.30MySQL-5.7.26:Dat
    
                    
    • 
                    
  • 数据库表数据导出攻略：SQL脚本生成全解析
                        不一样的信息安全
网络杂烩数据库oracle
                        
    摘要为了将SQLServer中的特定数据库表及其数据导出为SQL脚本，用户可以遵循一系列明确的步骤。首先，在SQLServerManagementStudio中启动目标数据库，并通过右键菜单选择“任务”下的“生成脚本”。在向导中逐步操作，选择需要导出的表及数据类型（如仅架构或同时包含数据）。设置保存路径和文件名后，继续完成向导。最终，用户可以在指定位置找到完整的SQL脚本文件。关键词SQL脚本导出
    
                    
    • 
                    
  • Vue.js中实现动态加载Vuex模块
                        CyberOI
vue.js前端javascriptjs
                        
    在Vue.js开发中，Vuex是一个非常强大的状态管理库，用于管理全局的状态和数据流。有时候，我们可能需要在运行时动态地加载Vuex模块，以便根据需要添加或移除特定的状态和功能。本文将介绍如何使用相应的代码示例来实现动态加载Vuex模块。创建基本的Vue项目首先，我们需要创建一个基本的Vue项目，以便进行后续的操作。你可以使用VueCLI来创建项目，或者手动搭建一个简单的Vue项目。安装Vuex在
    
                    
    • 
                    
  • 全面信息收集指南：渗透测试中的关键步骤与技巧
                        Clockwiseee
信息收集安全web安全渗透测试漏洞挖掘
                        
    文章目录一、什么是信息收集二、信息收集的分类1.服务器相关信息2.网站指纹识别3.Whois及目标背景信息4.子域名及关联资产5.GoogleHacking（搜索引擎利用）6.网站目录和敏感文件7.传输协议与漏洞利用8.第三方依赖与拓展信息三、信息收集的方式1.whois在线查询使用技巧2.在线网站备案查询3.收集子域名3.1网络空间绘测绘测的目的和意义3.2子域名爆破工具四、端口五、查找真实IP
    
                    
    • 
                    
  • python函数一：函数的概念、函数定义与调用、函数的参数、函数的返回值、说明文档以及函数的嵌套调用
                        @听风吟
Pythonpython开发语言数据库大数据
                        
    文章目录1.函数介绍1.1函数的概念1.2函数定义与调用1.2函数的参数1.3函数的返回值1.4说明文档2.函数的嵌套调用2.1嵌套调用及执行流程2.2嵌套调用的应用1.函数介绍1.1函数的概念什么是函数？函数:是一个被命名的、独立的、完成特定功能的代码段，其可能给调用它的程序一个返回值。通俗的说函数就是把一段可以实现某种功能的代码封装起来,想要使用这个功能就可以直接调用函数。被命名的：在Pyth
    
                    
    • 
                    
  • 0小明的数组游戏
                        qystca
算法蓝桥杯c++哈希
                        
    0小明的数组游戏-蓝桥云课问题描述今天小明获得了三个长度为n的数组，分别为a,b,c，小明盯着这三个数组看了半天，脑子里渐渐产生了一个想法，我能否知道这三个数组中有多少对三元组下标{i,j,k}满足ai+bj+ck=m，并要求在短时间内得到自己想要的答案，聪明的你能够帮帮小明吗。输入格式第一行，包含两个正整数n,m（1≤n≤1e3）（1≤m≤3×1e9），代表这三个数组的长度为n。第二行，包含n个
    
                    
    • 
                    
  • C语言读取 ini 配置文件，修改/添加键值对
                        Oliver-H
C_C++windowsc语言
                        
    C语言读取ini配置文件，修改/添加键值对C语言读取ini配置文件，对section中的键值对进行修改/添加，如果section不存在，则在末尾将新的section/key/value添加进去。一、了解什么是INI文件？ini文件是InitializationFile的缩写，即初始化文件，这是用来配置应用软件以实现不同用户的要求。二、INI文件的格式INI文件由节、键、值组成。一个简单的的INI文
    
                    
    • 
                    
  • 在Python中实现多线程与多进程的任务并发：实用指南
                        清水白石008
pythonPython题库pythonjavajvm
                        
    在Python中实现多线程与多进程的任务并发：实用指南在现代计算中，任务并发是提高程序性能和响应速度的重要手段。Python提供了多线程和多进程两种方式来实现并发处理。本文将详细介绍如何在Python中实现多线程和多进程的任务并发，包括基本概念、使用场景、示例代码以及最佳实践。一、基本概念1.线程与进程线程：线程是进程中的一个执行单元，多个线程共享同一进程的内存空间。线程的创建和销毁开销较小，适合
    
                    
    • 
                    
  • C语言基础知识：exit()函数
                        MAX在码字
CC语言基础知识exit函数学习
                        
    函数名:exit()所在头文件：stdlib.h功能:关闭所有文件，终止正在执行的进程。exit(1)表示异常退出.这个1是返回给操作系统的。exit(x)（x不为0）都表示异常退出exit(0)表示正常退出exit()的参数会被传递给一些操作系统，包括UNIX,Linux,和MSDOS，以供其他程序使用。stdlib.h:voidexit(intStatus);参数:status//程序退出的返
    
                    
    • 
                    
  • Python生态系统中拥有丰富的第三方库
                        ___Y1
pythonpython
                        
    Python生态系统中拥有丰富的第三方库，这些库覆盖了几乎所有领域，包括科学计算、数据分析、机器学习、人工智能、Web开发等。这些库的存在极大地丰富了Python的功能，使其成为一门强大而灵活的编程语言。以下是一些常用的Python第三方库：1.**科学计算与数据处理：**-**NumPy：**提供高性能的多维数组对象，以及相关工具，用于处理这些数组。-**Pandas：**提供数据结构和数据分析
    
                    
    • 
                    
  • 《极致C语言》第1章 -- 基本特性
                        Fyang0906
极致C语言学习笔记c语言
                        
    《极致C语言》第1章–基本特性extreme-c-learning-notesch1《极致C语言》第1章--基本特性《极致C语言》第1章--基本特性1.预处理指令2.变量指针3.函数4.结构1.预处理指令预处理指令是C语言的一个功能强大的特性，即在把源代码提交给编译器之前对源代码进行的设计和修改。预处理的目的是删除预处理指令，并用生成的等效C代码替换它们，从而得到提交给编译器的最终源代码。C预处理
    
                    
    • 
                    
  • et中计算机的快捷键,ET软件快捷键
                        Gyrolt
et中计算机的快捷键
                        
    ET软件快捷键1.点模式：F4：要素点模式F5：任意点模式F5：智能点模式2.显示：F6、V：全屏显示F7、B：单屏全屏显示F8：关闭所有皮尺显示F9：显示分类对话框F10：前画面F11：显示隐藏后的裁片F12：关闭英寸白圈表示X：缩小Z：放大C：视图查询Shift+滚轮：按鼠标指定位置放缩，向上放大向下缩小工具面板切换：Alt+Q：打版工具与放码工具切换Alt+W或Alt+E：专业工具与测量工具
    
                    
    • 
                    
  • 【ChatBI】text2sql-不需要访问数据表-超轻量Python库Vanna快速上手，对接oneapi
                        机器玄学实践者
oneapivannachatbidbgptnl2sql
                        
    oneapi准备首先确保你有oneapi，然后申请kimi的api需要去MoonshotAI-开放平台然后添加一个apikey然后打开oneapi的渠道界面，添加kimi。然后点击测试，如果能生成响应时间，就是配置正确。然后创建令牌http://xxx:3000/token,模型名是moonshot-v1-8k然后复制token，token是sk开头的一串密码。其他平台接入也是类似操作，不懂的读者
    
                    
    • 
                    
  • 解决Oracle SQL语句性能问题（10.5）——常用Hint及语法（7）（其他Hint）
                        lhdz_bj
OracleSQL性能优化与实例解析OracleSQLhintcardinalityselectivitypush_predqb_name
                        
    10.5.3.常用hint10.5.3.7.其他Hint1）cardinality：显式的指示优化器为SQL语句的某个行源指定势。该Hint具体语法如下所示。SQL>select/*+cardinality([@qb][table]card)*/...;--注：1）这里，第一个参数（@qb）为可选参数，指定查询语句块名；第二个参数（table）也为可选参数，指为其指定势的表的别名或表名
    
                    
    • 
                    
  • 【C语言】如何使用函数指针提高代码质量
                        soledade
c语言算法数据结构
                        
    C语言函数指针本文介绍了C语言函数指针的概念、用法和作用，并且给出了三个使用函数指针的例子，分别是回调、多态和跳转表。通过这些例子，我们可以看到函数指针的优点有：可以实现代码的复用、解耦和灵活性；可以实现代码的简洁、清晰和易扩展性；可以实现代码的效率和可维护性。本文也指出了函数指针的一些缺点和风险，并且提供了一些注意事项和学习资源。什么是函数指针？在C语言中，我们可以使用指针来存储变量或数组的地址
    
                    
    • 
                    
  • 如何搭建局域网
                        冷冰冰冰冰冰冰
网络
                        
    要搭建一个局域网，您需要按照以下步骤进行操作：确定网络拓扑：确定局域网的规模和拓扑结构，包括设备数量和位置等。常见的拓扑结构包括星型拓扑、总线拓扑和环形拓扑等。获取网络设备：根据拓扑结构确定需要的网络设备，包括路由器、交换机和网线等。确保设备能满足局域网的需求和扩展性。连接设备：根据拓扑结构将网络设备连接起来。使用网线将路由器、交换机和终端设备（如电脑、打印机等）逐一连接起来。配置网络设备：进入路
    
                    
    • 
                                
  • Js函数返回值
                                    _wy_
jsreturn
                                    
    一、返回控制与函数结果，语法为：return 表达式;作用: 结束函数执行，返回调用函数，而且把表达式的值作为函数的结果 二、返回控制语法为：return;作用: 结束函数执行，返回调用函数，而且把undefined作为函数的结果 在大多数情况下,为事件处理函数返回false,可以防止默认的事件行为.例如,默认情况下点击一个<a>元素,页面会跳转到该元素href属性
    
                                
    • 
                                
  • MySQL 的 char 与 varchar
                                    bylijinnan
mysql
                                    
     
今天发现，create table 时，MySQL 4.1有时会把 char 自动转换成 varchar 
 
测试举例： 
 

CREATE TABLE `varcharLessThan4` (
  `lastName` varchar(3)
) ;

mysql> desc varcharLessThan4;
+----------+---------+------+-
    
                                
    • 
                                
  • Quartz——TriggerListener和JobListener
                                    eksliang
TriggerListenerJobListenerquartz
                                    
    转载请出自出处：http://eksliang.iteye.com/blog/2208624 一.概述 
listener是一个监听器对象，用于监听scheduler中发生的事件，然后执行相应的操作；你可能已经猜到了，TriggerListeners接受与trigger相关的事件，JobListeners接受与jobs相关的事件。 
  二.JobListener监听器 
 j
    
                                
    • 
                                
  • oracle层次查询
                                    18289753290
oracle；层次查询；树查询
                                    
    .oracle层次查询(connect  by) 
oracle的emp表中包含了一列mgr指出谁是雇员的经理，由于经理也是雇员，所以经理的信息也存储在emp表中。这样emp表就是一个自引用表，表中的mgr列是一个自引用列，它指向emp表中的empno列，mgr表示一个员工的管理者， 
select   empno,mgr,ename,sal  from e
    
                                
    • 
                                
  • 通过反射把map中的属性赋值到实体类bean对象中
                                    酷的飞上天空
javaee泛型类型转换
                                    
    使用过struts2后感觉最方便的就是这个框架能自动把表单的参数赋值到action里面的对象中 
但现在主要使用Spring框架的MVC，虽然也有@ModelAttribute可以使用但是明显感觉不方便。 
好吧，那就自己再造一个轮子吧。 
原理都知道，就是利用反射进行字段的赋值，下面贴代码 
主要类如下： 
  
import java.lang.reflect.Field;
imp
    
                                
    • 
                                
  • SAP HANA数据存储：传统硬盘的瓶颈问题
                                    蓝儿唯美
HANA
                                    
    SAPHANA平台有各种各样的应用场景，这也意味着客户的实施方法有许多种选择，关键是如何挑选最适合他们需求的实施方案。 
在 《Implementing SAP HANA》这本书中，介绍了SAP平台在现实场景中的运作原理，并给出了实施建议和成功案例供参考。本系列文章节选自《Implementing SAP HANA》，介绍了行存储和列存储的各自特点，以及SAP HANA的数据存储方式如何提升空间压
    
                                
    • 
                                
  • Java Socket 多线程实现文件传输
                                    随便小屋
javasocket
                                    
            高级操作系统作业，让用Socket实现文件传输，有些代码也是在网上找的，写的不好，如果大家能用就用上。 
客户端类： 
  
package edu.logic.client;

import java.io.BufferedInputStream;
import java.io.Buffered
    
                                
    • 
                                
  • java初学者路径
                                    aijuans
java
                                    
    学习Java有没有什么捷径?要想学好Java，首先要知道Java的大致分类。自从Sun推出Java以来，就力图使之无所不包，所以Java发展到现在，按应用来分主要分为三大块：J2SE,J2ME和J2EE,这也就是Sun ONE(Open Net Environment)体系。J2SE就是Java2的标准版，主要用于桌面应用软件的编程；J2ME主要应用于嵌入是系统开发，如手机和PDA的编程；J2EE
    
                                
    • 
                                
  • APP推广
                                    aoyouzi
APP推广
                                    
    一，免费篇 
1，APP推荐类网站自主推荐 
最美应用、酷安网、DEMO8、木蚂蚁发现频道等,如果产品独特新颖，还能获取最美应用的评测推荐。PS：推荐简单。只要产品有趣好玩，用户会自主分享传播。例如足迹APP在最美应用推荐一次，几天用户暴增将服务器击垮。 
2，各大应用商店首发合作 
老实盯着排期，多给应用市场官方负责人献殷勤。 
3，论坛贴吧推广 
百度知道，百度贴吧，猫扑论坛，天涯社区，豆瓣（
    
                                
    • 
                                
  • JSP转发与重定向
                                    百合不是茶
jspservletJava Webjsp转发
                                    
      
在servlet和jsp中我们经常需要请求,这时就需要用到转发和重定向; 
  
转发包括;forward和include   
  
例子;forwrad转发;  将请求装法给reg.html页面 
  
关键代码; 
   
   req.getRequestDispatcher("reg.html
    
                                
    • 
                                
  • web.xml之jsp-config
                                    bijian1013
javaweb.xmlservletjsp-config
                                    
    1.作用：主要用于设定JSP页面的相关配置。 
2.常见定义： 
<jsp-config>
 <taglib>
  <taglib-uri>URI(定义TLD文件的URI,JSP页面的tablib命令可以经由此URI获取到TLD文件)</tablib-uri>
  <taglib-location>
   TLD文件所在的位置

    
                                
    • 
                                
  • JSF2.2 ViewScoped Using CDI
                                    sunjing
CDIJSF 2.2ViewScoped
                                    
    JSF 2.0 introduced annotation @ViewScoped; A bean annotated with this scope maintained its state as long as the user stays on the same view(reloads or navigation - no intervening views). One problem w
    
                                
    • 
                                
  • 【分布式数据一致性二】Zookeeper数据读写一致性
                                    bit1129
zookeeper
                                    
    很多文档说Zookeeper是强一致性保证，事实不然。关于一致性模型请参考http://bit1129.iteye.com/blog/2155336 
  
  Zookeeper的数据同步协议 
Zookeeper采用称为Quorum Based Protocol的数据同步协议。假如Zookeeper集群有N台Zookeeper服务器(N通常取奇数，3台能够满足数据可靠性同时
    
                                
    • 
                                
  • Java开发笔记
                                    白糖_
java开发
                                    
    1、Map<key,value>的remove方法只能识别相同类型的key值 
  
Map<Integer,String> map = new HashMap<Integer,String>();
map.put(1,"a");
map.put(2,"b");
map.put(3,"c"
    
                                
    • 
                                
  • 图片黑色阴影
                                    bozch
图片
                                    
     .event{ padding:0;    width:460px;    min-width: 460px;    border:0px solid #e4e4e4;    height: 350px;    min-heig
    
                                
    • 
                                
  • 编程之美-饮料供货-动态规划
                                    bylijinnan
动态规划
                                    
    

import java.util.Arrays;
import java.util.Random;

public class BeverageSupply {

	/**
	 * 编程之美 饮料供货
	 * 设Opt（V’，i）表示从i到n-1种饮料中，总容量为V’的方案中，满意度之和的最大值。
	 * 那么递归式就应该是：Opt（V’，i）=max{ k * Hi+Op
    
                                
    • 
                                
  • ajax大参数（大数据）提交性能分析
                                    chenbowen00
WebAjax框架浏览器prototype
                                    
    近期在项目中发现如下一个问题 
项目中有个提交现场事件的功能，该功能主要是在web客户端保存现场数据（主要有截屏，终端日志等信息）然后提交到服务器上方便我们分析定位问题。客户在使用该功能的过程中反应点击提交后反应很慢，大概要等10到20秒的时间浏览器才能操作，期间页面不响应事件。 
根据客户描述分析了下的代码流程，很简单，主要通过OCX控件截屏，在将前端的日志等文件使用OCX控件打包，在将之转换为
    
                                
    • 
                                
  • [宇宙与天文]在太空采矿,在太空建造
                                    comsci

                                    
         我们在太空进行工业活动...但是不太可能把太空工业产品又运回到地面上进行加工,而一般是在哪里开采,就在哪里加工,太空的微重力环境,可能会使我们的工业产品的制造尺度非常巨大.... 
 
     地球上制造的最大工业机器是超级油轮和航空母舰,再大些就会遇到困难了,但是在空间船坞中,制造的最大工业机器,可能就没
    
                                
    • 
                                
  • ORACLE中CONSTRAINT的四对属性
                                    daizj
oracleCONSTRAINT
                                    
    ORACLE中CONSTRAINT的四对属性 
summary:在data migrate时,某些表的约束总是困扰着我们,让我们的migratet举步维艰,如何利用约束本身的属性来处理这些问题呢?本文详细介绍了约束的四对属性: Deferrable/not deferrable, Deferred/immediate, enalbe/disable, validate/novalidate,以及如
    
                                
    • 
                                
  • Gradle入门教程
                                    dengkane
gradle
                                    
    一、寻找gradle的历程 
一开始的时候，我们只有一个工程，所有要用到的jar包都放到工程目录下面，时间长了，工程越来越大，使用到的jar包也越来越多，难以理解jar之间的依赖关系。再后来我们把旧的工程拆分到不同的工程里，靠ide来管理工程之间的依赖关系，各工程下的jar包依赖是杂乱的。一段时间后，我们发现用ide来管理项程很不方便，比如不方便脱离ide自动构建，于是我们写自己的ant脚本。再后
    
                                
    • 
                                
  • C语言简单循环示例
                                    dcj3sjt126com
c
                                    
    # include <stdio.h>

int main(void)
{
	int i;
	int count = 0;
	int sum = 0;
	float avg;
	
	for (i=1; i<=100; i++)
	{
		if (i%2==0) 
		{
			count++;
			sum += i;
		}
	}

	avg
    
                                
    • 
                                
  • presentModalViewController 的动画效果
                                    dcj3sjt126com
controller
                                    
    系统自带(四种效果)： 
presentModalViewController模态的动画效果设置：        
[cpp]  
view plain 
copy       
 
 UIViewController *detailViewController = [[UIViewController al
    
                                
    • 
                                
  • java 二分查找
                                    shuizhaosi888
二分查找java二分查找
                                    
    需求：在排好顺序的一串数字中，找到数字T 
  
一般解法：从左到右扫描数据，其运行花费线性时间O(N)。然而这个算法并没有用到该表已经排序的事实。 
	/**
	 * 
	 * @param array
	 *            顺序数组
	 * @param t
	 *            要查找对象
	 * @return
	 */
	public stati
    
                                
    • 
                                
  • Spring Security（07）——缓存UserDetails
                                    234390216
ehcache缓存Spring Security
                                    
     
       Spring Security提供了一个实现了可以缓存UserDetails的UserDetailsService实现类，CachingUserDetailsService。该类的构造接收一个用于真正加载UserDetails的UserDetailsService实现类。当需要加载UserDetails时，其首先会从缓存中获取，如果缓存中没
    
                                
    • 
                                
  • Dozer 深层次复制
                                    jayluns
VOmavenpo
                                    
    最近在做项目上遇到了一些小问题，因为架构在做设计的时候web前段展示用到了vo层，而在后台进行与数据库层操作的时候用到的是Po层。这样在业务层返回vo到控制层，每一次都需要从po-->转化到vo层，用到BeanUtils.copyProperties(source, target)只能复制简单的属性，因为实体类都配置了hibernate那些关联关系，所以它满足不了现在的需求，但后发现还有个很
    
                                
    • 
                                
  • CSS规范整理（摘自懒人图库）
                                    a409435341
htmlUIcss浏览器
                                    
       刚没事闲着在网上瞎逛，找了一篇CSS规范整理，粗略看了一下后还蛮有一定的道理，并自问是否有这样的规范，这也是初入前端开发的人一个很好的规范吧。 
 
 
一、文件规范 
 
1、文件均归档至约定的目录中。 
 
具体要求通过豆瓣的CSS规范进行讲解： 
 
所有的CSS分为两大类：通用类和业务类。通用的CSS文件，放在如下目录中： 
 
基本样式库 /css/core 

    
                                
    • 
                                
  • C++动态链接库创建与使用
                                    你不认识的休道人
C++dll
                                    
    一、创建动态链接库 
1.新建工程test中选择”MFC [dll]”dll类型选择第二项"Regular DLL With MFC shared linked"，完成 
2.在test.h中添加 
extern “C” 返回类型 _declspec(dllexport)函数名(参数列表); 
3.在test.cpp中最后写 
 
extern “C” 返回类型 _decls
    
                                
    • 
                                
  • Android代码混淆之ProGuard
                                    rensanning
ProGuard
                                    
    Android应用的Java代码，通过反编译apk文件（dex2jar、apktool）很容易得到源代码，所以在release版本的apk中一定要混淆一下一些关键的Java源码。 
 
ProGuard是一个开源的Java代码混淆器（obfuscation）。ADT r8开始它被默认集成到了Android SDK中。 
 
官网： 
http://proguard.sourceforge.net/
    
                                
    • 
                                
  • 程序员在编程中遇到的奇葩弱智问题
                                    tomcat_oracle
jquery编程ide
                                    
    　　现在收集一下： 
   
  
  
　　排名不分先后，按照发言顺序来的。 
  
1、Jquery插件一个通用函数一直报错，尤其是很明显是存在的函数，很有可能就是你没有引入jquery。。。或者版本不对 
2、调试半天没变化：不在同一个文件中调试。这个很可怕，我们很多时候会备份好几个项目，改完发现改错了。有个群友说的好：   在汤匙
    
                                
    • 
                                
  • 解决maven-dependency-plugin (goals "copy-dependencies","unpack") is not supported
                                    xp9802
dependency
                                    
    解决办法：在plugins之前添加如下pluginManagement，二者前后顺序如下： 
     
[html]  
view plain 
copy       
 
 <build>   
         <pluginManagement
    
                                
    •