HiveSQL 工作实战总结

记录一些工作中有意思的统计指标，做过一些简化方便大家阅读，记录如有错误，欢迎在评论区提问讨论~

问题类型

  1. 连续问题

    • 两种思路
    • 第一种：日期减去一列数字得出日期相同，主要是通过row_number窗口函数
    • 第二种：后一个日期减去前一个日期差值相等，用的较少，可以用lag/lead窗口函数解决

  2. 分组问题

    • 主要使用lag(col,1,0)分组将每行移到下一行，再按既定规则分组排序即可
    • 后面抽空试一下

  3. 间隔连续问题，比如每断一天也算连续

    • 两种思路：
    • 第一种：连续使用两次连续问题的求法即可，差了几次可以连续row_number几次，这种无限套娃不推荐使用
    • 第二种：连续差值小于要求数即可，比如断一天也可，只要每行间隔小于2天即可
  4. 打折日期交叉问题，两段活动期重复日期去除
  5. 同时在线问题

一、统计每个设备的累计告警次数

原始数据格式

deviceId alarmDate alarmCount
设备ID 告警日期 告警次数
u01 2022/1/8 5
u02 2022/1/8 7
u03 2022/1/8 3
u01 2022/1/12 2
u02 2022/1/12 1
u01 2022/1/14 9
... ... ...

统计之后格式

设备ID 告警月份 告警次数小计 告警次数累计
u01 2022-02 11 11
u02 2022-03 12 23
... ... ... ...

工作思路

  1. 先根据设备ID和告警日期分组
  2. 按月份统计可以用substr函数或者日期格式化函数
  3. 再统计即可得出小计告警次数
  4. 接着使用聚合窗口函数计算累计告警次数

工作语句

  1. 第一种方案，使用substr截取字符串函数

    SELECT *,
    SUM(sumPart) OVER (PARTITION BY deviceId ORDER BY alarmMonth) AS sumAll
FROM
(SELECT deviceId,
    SUBSTR(alarmDate,1,7) AS alarmMonth,
    SUM(alarmCount) AS sumPart
FROM test_00
GROUP BY deviceId,
      alarmMonth) t;

  2. 第二种方案，使用日期格式化函数，使用date_format函数的字符串必须满足yyyy-MM-dd格式，所以必须先用regexp_replace替换/为-

    SELECT *,
    SUM(sumPart) OVER (PARTITION BY deviceId ORDER BY alarmMonth) AS sumAll
FROM
(SELECT deviceId,
     DATE_FORMAT(REGEXP_REPLACE(alarmDate,'/','-'), 'yyyy-MM') AS alarmMonth,
     SUM(alarmCount) AS sumPart
FROM test_00
GROUP BY deviceId,
      alarmMonth) t;

    开窗函数中的界限说明

  3. unbounded：无界限
  4. preceding：从分区第一行头开始，则为 unbounded N为：相对当前行向后的偏移量
  5. following ：与preceding相反,到该分区结束，则为 unbounded N为：相对当前行向后的偏移量
  6. current row：顾名思义，当前行，偏移量为0

二、统计环境设备每天的总污染告警次数，并输出每个设备告警次数排名前三的日期

原始数据格式

deviceId alarmTime
设备ID 告警时间
u01 2022/1/8/08/04/58
u02 2022/1/8/12/05/38
u03 2022/1/8/17/01/12
u01 2022/1/12/12/04/53
u02 2022/1/12/13/45/34
u01 2022/1/14/02/12/51
... ...

统计之后格式

设备ID 告警次数累计
u01 3
u02 2
u03 1
... ...

工作思路

统计环境设备的总污染告警次数

  1. 由于有设备可能会有同一时间的告警记录，所以需要按告警时间去重后再统计
  2. 如果使用distinct去重，如果表数据过大，且设备ID差异化很大，那么会有性能压力
  3. 所以使用group by子查询代替

  4. mysql中的date_format格式化需要这样写：DATE_FORMAT(alarmTime, '%Y-%c-%d %T')

    输出每个设备告警次数排名前三的日期

  5. 使用窗口函数ROW_NUMBER() OVER()进行分组排序即可，MySQL 替换 ROW_NUMBER() OVER (PARTITION ……) 函数
  6. 多个子句查询可以使用视图和WITH语句

工作语句

统计环境设备的总污染告警次数

SELECT deviceId,
        COUNT(alarmTime) AS alarmCount 
FROM
--- http://c.biancheng.net/mysql/date_format.html
(SELECT deviceId,
        DATE_FORMAT(REGEXP_REPLACE(alarmTime,'/','-'), 'yyyy-MM-dd HH:mm:ss') AS alarmTime
FROM test_01
GROUP BY deviceId,alarmTime
ORDER BY alarmTime) t
GROUP BY deviceId;

输出每个设备告警次数排名前三的日期

SELECT * 
FROM 
(SELECT deviceId,
        alarmDate,
        alarmCount,
        ROW_NUMBER() OVER(PARTITION BY deviceId ORDER BY alarmCount DESC) AS alarmRank
FROM 
(SELECT deviceId,
        alarmDate,
        COUNT(alarmDate) AS alarmCount
FROM
(SELECT deviceId,
        DATE_FORMAT(alarmTime, 'yyyy-MM-dd') AS alarmDate,
        DATE_FORMAT(alarmTime, 'yyyy-MM-dd HH:mm:ss') AS alarmTime
FROM test_01
GROUP BY deviceId,alarmTime
ORDER BY deviceId,alarmTime) t1
GROUP BY deviceId,alarmDate) t2) t3
WHERE alarmRank<=3;

-- 使用WITH语句优化一下
WITH t1 AS (
SELECT deviceId,
    DATE_FORMAT(alarmTime, 'yyyy-MM-dd') AS alarmDate,
    DATE_FORMAT(alarmTime, 'yyyy-MM-dd HH:mm:ss') AS alarmTime
FROM test_01
GROUP BY deviceId,alarmTime
ORDER BY deviceId,alarmTime),
t2 AS (
    SELECT deviceId,
    alarmDate,
    COUNT(alarmDate) AS alarmCount
FROM t1
GROUP BY deviceId,alarmDate),
t3 AS (
SELECT deviceId,
    alarmDate,
    alarmCount,
    ROW_NUMBER() OVER(PARTITION BY deviceId ORDER BY alarmCount DESC) AS alarmRank
FROM t2)
SELECT * FROM t3 WHERE alarmRank<=3;

COUNT(1)和COUNT(*)的区别

  1. 从执行结果来说

    • COUNT(1)和COUNT(*)之间没有区别，因为COUNT(*)和COUNT(1)都不会去过滤空值
    • 但COUNT(列名)就有区别了，因为COUNT(列名)会去过滤空值

  2. 从执行效率来说

    • 他们之间根据不同情况会有些许区别，MySQL会对COUNT(*)做优化
    • 如果列为主键，COUNT(列名)效率优于COUNT(1)
    • 如果列不为主键，COUNT(1)效率优于COUNT(列名)
    • 如果表中存在主键，COUNT(主键列名)效率最优
    • 如果表中只有一列，则COUNT(*)效率最优
    • 如果表有多列，且不存在主键，则COUNT(1)效率优于COUNT(*)

三、统计每个月的总告警次数，总告警设备数，以及能够连续七天数值正常设备数量

留给你思考

四、统计出2022年1月首次出现告警的设备数量

原始数据格式

deviceId alarmTime
设备ID 告警时间
u01 2022/1/8/08/04/58
u02 2022/2/8/12/05/38
u03 2021/9/8/17/01/12
u01 2022/1/12/12/04/53
u02 2022/4/12/13/45/34
u01 2022/5/14/02/12/51
... ...

统计之后格式

设备ID 首次告警时间
xxx 2022/1/8/08/04/58
xxx 2022/1/8/12/05/38
xxx 2022/1/8/17/01/12
... ...

工作思路

  1. 先用date_format格式化所有设备告警时间为yyyy-MM的日期格式
  2. 运用min函数得出每个设备最早告警日期
  3. 当最早告警日期是2022年1月的时候即为我们所需要知道的设备记录

工作语句

WITH t1 AS (
SELECT *,
        DATE_FORMAT(alarmTime, 'yyyy-MM') AS alarmMonth 
FROM test_01
),
t2 AS (
SELECT deviceId,
        alarmTime,
        MIN(alarmMonth) AS firstAlarmMonth
FROM t1
GROUP BY deviceId
)
SELECT * FROM t2 WHERE firstAlarmMonth='2022-1';

五、根据设备地区编号段对告警次数进行排序

有一个5000万的设备信息表，一个2亿记录的告警记录表

原始数据格式

  1. 设备信息表
deviceId deviceName deviceDistrict
设备ID 设备名称 设备所属地区
u01 xx01 210000
u02 xx02 210010
u03 xx03 210025
... ... ...
  1. 告警记录表
deviceId alarmTime
设备ID 告警时间
u01 2022/1/8/08/04/58
u02 2022/2/8/12/05/38
u03 2021/9/8/17/01/12
u01 2022/1/12/12/04/53
u02 2022/4/12/13/45/34
u01 2022/5/14/02/12/51
... ...

统计之后格式

设备地区号段 告警次数
210000-210010 2
210010-210020 8
210020-210030 4
210040-210050 7
... ...

工作思路

  1. 先根据设备ID分组count统计报警次数
  2. 再使用casewhen条件语句，或者使用concat/floor/ceil函数动态划分，根据分段统计不同设备位于什么地区号段
  3. 最后连接查询，并根据地区号段，使用sum函数统计总告警次数即可

工作语句

-- 第一种方案
WITH t1 AS(
SELECT deviceId,
        COUNT(alarmTime) AS alarmCount
FROM test_01
GROUP BY deviceId
),
t2 AS(
SELECT deviceId,
        deviceDistrict,
        -- 如果地区编号是字符串可以先转换再比较，不然会触发隐式转换，导致全表扫描无法使用索引
        -- CONVERT(deviceDistrict, UNSIGNED)>=210000
        CASE WHEN deviceDistrict>=210000 AND deviceDistrict<210010 THEN '210000-210010'
             WHEN deviceDistrict>=210010 AND deviceDistrict<210020 THEN '210010-210020'
            WHEN deviceDistrict>=210020 AND deviceDistrict<210030 THEN '210020-210030'
             WHEN deviceDistrict>=210030 AND deviceDistrict<210040 THEN '210030-210040'
             WHEN deviceDistrict>=210040 AND deviceDistrict<210050 THEN '210040-210050'
             WHEN deviceDistrict>=210050 AND deviceDistrict<210060 THEN '210050-210060'
             WHEN deviceDistrict>=210060 AND deviceDistrict<210070 THEN '210060-210070'
        END deviceDistrictSection
FROM test_02
),
t3 AS (
    SELECT t2.deviceDistrictSection AS deviceDistrictSection,
            SUM(t1.alarmCount) AS alarmCount
    FROM t1 LEFT JOIN t2 
    ON t1.deviceId = t2.deviceId
    GROUP BY deviceDistrictSection
    ORDER BY deviceDistrictSection
)
SELECT * FROM t3;

-- 第二种方案
WITH t1 AS(
SELECT deviceId,
        COUNT(alarmTime) AS alarmCount
FROM test_01
GROUP BY deviceId
),
t2 AS(
SELECT deviceId,
        deviceDistrict,
        CONCAT(FLOOR(deviceDistrict/10)*10, '-', (FLOOR(deviceDistrict/10)+1)*10) AS deviceDistrictSection
FROM test_02
),
t3 AS (
    SELECT t2.deviceDistrictSection AS deviceDistrictSection,
            SUM(t1.alarmCount) AS alarmCount
    FROM t1 LEFT JOIN t2 
    ON t1.deviceId = t2.deviceId
    GROUP BY deviceDistrictSection
    ORDER BY deviceDistrictSection
)
SELECT * FROM t3;

-- 第二种方案的函数测试
SELECT FLOOR(210015/10)*10 AS x;  -- 210015
SELECT CEIL(210015/10)*10 AS y;  -- 210020
SELECT CONCAT(FLOOR(210015/10)*10, '-', CEIL(210015/10)*10);  -- 210010-210020
SELECT CONCAT(FLOOR(210020/10)*10, '-', CEIL(210020/10)*10);  -- 210020-210020
SELECT CONCAT(FLOOR(210020/10)*10, '-', (FLOOR(210020/10)+1)*10);  -- 210020-210030

拼接函数concat/concat_ws/group_concat的区别说明

  1. concat

    • 将多个字符串连接成一个字符串
    • concat(str1, str2,...)
    • 返回结果为连接参数产生的字符串，如果有任何一个参数为null，则返回值为null

  2. concat_ws

    • 和concat()一样，将多个字符串连接成一个字符串，但是可以一次性指定分隔符
    • 第一个参数指定分隔符，concat_ws(separator, str1, str2, ...)
    • 返回结果为连接参数产生的字符串。需要注意的是分隔符不能为null，如果为null，则返回结果为null

  3. group_concat

    • 将group by产生的同一个分组中的值连接起来，返回一个字符串结果
    • group_concat( [distinct] 要连接的字段 [order by 排序字段 asc/desc ] [separator '分隔符'] )
    • 说明：通过使用distinct可以排除重复值；如果希望对结果中的值进行排序，可以使用order by子句；separator是一个字符串值，缺省为一个逗号

    拼接函数floor/ceil/round的区别说明

  4. floor

    • 在英文中，是地面，地板的意思，有下面的意思；所以此函数是向下取整，它返回的是小于或等于函数参数，并且与之最接近的整数
    • 向下取整的时候，正数，则取其整数部位，抹除小数部位
    • 负数，则取其整数加一
    • 整数，则不变

  5. ceil

    • 在英文中，是天花板的意思，有向上的意思；所以此函数是向上取整，它返回的是大于或等于函数参数，并且与之最接近的整数
    • 向上取整的时候，正数，则直接将当前整数加一
    • 负数，则将整数后面的数据抹除
    • 整数，则不变

  6. round

    • 在英文中是有大约，环绕，在某某四周，附近的意思，所以，可以取其大约的意思，在函数中是四舍五入
    • 四舍五入的时候，正数，小数位大于5，则整数位加一，小数位小于5，则整数位不变，抹除小数位
    • 负数，小数位小于5，则整数位不变，抹除小数位，小数位大于5，则整数位加一
    • 整数，则不变

    MySQL中保留两位小数

  7. round(x,d) 四舍五入保留小数

    • round(x)其实就是round(x,0)，也就是默认d为0，默认不保留小数，d为保留几位小数
    • d可以是负数，这时是指定小数点左边的d位整数位为0，同时小数位均为0，例如：round(114.6, -1) -> 110
  8. truncate(x,d) 函数返回被舍去至小数点后d位的数字x，和round函数类似，但是没有四舍五入
  9. format(x,d) 强制保留d位小数，整数部分超过三位的时候以逗号分割，并且返回的结果是string类型的

  10. convert(value,type) 类型转换，相当于截取，例如：

    • convert(100.3465, decimal(10,2)) -> 100.35
    • convert(100, decimal(10,2)) -> 100
    • convert(100.4, decimal(10,2)) -> 100.4

    Hive中保留两位小数

  11. round(column_name,2) 四舍五入截取 这种方法慎用，有时候结果不是你想要的
  12. regexp_extract(column_name,'([0-9]*.[0-9][0-9])',1) 正则匹配截取，不做四舍五入，只是单纯的当作字符串截取
  13. cast(column_name as decimal(10,2)) cast函数截取 推荐使用

六、统计所有告警设备和所有活跃告警设备（连续三天都有告警的设备）的总数，以及平均监测值

活跃告警设备是指连续三天都有告警的设备

连续N天登录等类似题目的解题思路

  1. 日期减去一列数字得到的日期相等
  2. 后一个日期减去前一个日期的差值相等

原始数据格式

deviceId alarmDate alarmValueAvgDaily
设备ID 告警日期 当日平均监测值
u01 2022-1-8 27
u02 2022-4-5 12
u03 2022-3-2 45
u01 2022-2-10 66
u02 2022-1-18 98
u01 2022-1-28 53
... ...

统计之后格式

类型 总数 总均值
所有告警设备 18398 34
活跃告警设备 3213 87

工作思路

  1. 首先使用group by去除重复日期的重复数据，用max函数取最大值
  2. 然后使用group by去除重复设备数，分别查询设备总数和总平均值，再用左连接将查询结果拼接，保存结果查询
  3. 接着处理统计活跃告警设备，先用row_number函数查询分组编号，再使用date_sub函数用告警日期减去分组编号，得出一组临时告警日期用于判定是否是活跃告警设备
  4. 如果有连续相同日期说明是活跃告警设备，所以接着使用count函数和having条件统计过滤有大于等于三天的连续相同日期的设备与告警日期，注意同时要计算均值
  5. 左后统计活跃告警设备总数和平均值，并和第二步中的结果union all即可

工作语句

WITH 
-- 首先去除重复日期的重复数据，这里取最大值
t1 AS(
SELECT deviceId,
        alarmDate,
        MAX(alarmValueAvgDaily) AS alarmValueAvgDaily
FROM test_03
GROUP BY deviceId, alarmDate
),
-- 去除重复设备数
t2 AS(
SELECT *
FROM t1
GROUP BY deviceId
),
-- 查询设备总数
t3 AS(
SELECT '告警设备总数与均值' AS type,
        COUNT(deviceId) AS allDeviceCount
FROM t2
),
-- 查询总均值
t4 AS(
SELECT ROUND(AVG(alarmValueAvgDaily)) AS alarmValueAvgAll
FROM t1
),
-- 查询分组后的排序编号
t5 AS(
SELECT *,
        ROW_NUMBER() OVER(PARTITION BY deviceId ORDER BY alarmDate) AS alarmDateRank
FROM t1
),
-- 查询告警日期减去分组后排序编号之后的日期，如果有连续相同的说明是连续的天数
t6 AS(
SELECT *,
        DATE_SUB(alarmDate, INTERVAL alarmDateRank DAY) AS alarmDateSub
FROM t5
),
-- 查询连续天数大于3天的设备，以及这些活跃设备的平均值
t7 AS(
SELECT deviceId,
        ROUND(AVG(alarmValueAvgDaily))  AS alarmValueAvgActive,
        alarmDateSub,
        COUNT(*) AS  alarmDateSubCount
FROM t6
GROUP BY deviceId, alarmDateSub
HAVING alarmDateSubCount>=3  
),
t8 AS(
SELECT '活跃告警设备总数与均值' AS type,
        COUNT(deviceId) AS allDeviceCount,
        ROUND(AVG(alarmValueAvgActive)) AS alarmValueAvgActiveAll
FROM t7
)
-- 统计完成所有告警设备以及平均监测值
SELECT * FROM t3 LEFT JOIN t4 ON t4.alarmValueAvgAll IS NOT NULL
UNION ALL
-- 统计完成活跃告警设备以及平均监测值
SELECT * FROM t8;

合并操作符union和union all之间的区别

  1. 相同之处

    • 都是用于合并两个或多个select语句的结果组合成单个结果集
    • 操作符内部的每个select语句必须拥有相同数量的，列也必须拥有相似的数据类型，同时每个select语句中的列的顺序必须相同

  2. 不同之处

    • 对重复结果的处理：union在进行表连接后会筛选掉重复的记录，union all不会去除重复记录
    • 对排序的处理：union将会按照字段的顺序进行排序，union all只是简单的将两个结果合并后就返回
    • 从效率上说，union all要比 union快很多，所以，如果可以确认合并的两个结果集中不包含重复数据且不需要排序时的话，那么就使用union all

    Hive和MySQL中的日期函数

  3. MySQL Date 函数、MySQL 日期函数
  4. 【hive 日期函数】Hive常用日期函数整理
  5. 后期切记整理链接资料，若忘记请读者提醒！！！感谢！！！

七、统计2022年1月8日下午16点-17点，每个接口调用量top10的ip地址

原始数据格式

time interface ip
时间 接口 访问IP
2021/1/8 15:01:28 /api/user/login 110.25.3.56
2021/1/8 15:21:12 /api/device/alarm 23.21.33.87
2021/1/8 15:51:34 /api/device/record 45.76.21.543
... ...

统计之后格式

接口 访问IP 访问次数 排名
/api/user/login 110.25.3.56 89 1
/api/device/alarm 23.21.33.87 123 1
/api/device/record 45.76.21.543 23 1
... ... ... ...

此题作为开放题供大家查阅，后面有空再继续写

附录资料

Hive和MySQL中部分函数的区别

  1. date_format()

    • Hive date_format(date date / timestamp time / string 'xxxx-xx-xx', format 'yyyy-MM-dd')，只能识别用-连接的日期字符串
    • MySQL date_format(date, format)，具体的format规则请查询参考资料

  2. date_sub()

    • Hive date_sub(date date / timestamp time, int days)
    • MySQL date_sub(date, interval 时间间隔 type)，具体的type规则请查询参考资料

Hive和MySQL常用日期函数

  1. date_add() 向日期添加指定的时间间隔
  2. date_sub() 从日期减去指定的时间间隔
  3. datediff() 返回两个日期之间的天数

Hive中order by/distribute by/sort by/group by/partition by之间的区别说明

  1. order by

    • order by会对数据进行全局排序，和oracle、mysql等数据库中的order by效果一样
    • 需要注意的是，hive执行过程中它只在一个reduce中进行，所以数据量特别大的时候效率非常低
    • group by分组之后是会组内聚合的，而distribute by和partition by仅仅是分组了，并未有聚合操作

  2. distribute by

    • distribute by是控制在map端如何拆分数据给reduce端的
    • hive会根据distribute by后面列，对应reduce的个数进行分发，默认是采用hash算法

  3. sort by

    • sort by为每个reduce产生一个排序文件
    • 在有些情况下，你需要控制某个特定行应该到哪个reducer，这通常是为了进行后续的聚集操作distribute by刚好可以做这件事
    • 因此，distribute by经常和sort by配合使用

  4. group by

    • 和distribute by类似 都是按key值划分数据 都使用reduce操作
    • 唯一不同的是，distribute by只是单纯的分散数据，distribute by col 是按照col列把数据分散到不同的reduce
    • 而group by把相同key值的数据聚集到一起，后续必须是聚合操作

  5. cluster by

    • 按列分桶建表使用
    • distribute by 和 sort by 合用就相当于cluster by，但是cluster by不能指定排序为asc(升序)或desc(倒序)的规则，只能是升序排列

  6. partition by

    • 按所分区名分区建表使用
    • 通常查询时会对整个数据库查询，而这带来了大量的开销，因此引入了partition的概念
    • 在建表的时候通过设置partition的字段，会根据该字段对数据分区存放，更具体的说是存放在不同的文件夹
    • 这样通过指定设置partition的字段条件查询时可以减少大量的开销
    • 区内排序用order by

MySQL多表查询时如何将NULL置为0

使用IFNULL("字段", 0)函数即可

Hive中如何处理NULL值和空字符串

  1. Hive表中默认将NULL存为\N，可查看表的源文件（hadoop fs -cat或者hadoop fs -text），文件中存储大量\N，这样造成浪费大量空间

  2. 但Hive的NULL有时候是必须的

    • Hive中insert语句必须列数匹配，不支持不写入，没有值的列必须使用NULL占位
    • Hive表的数据文件中按分隔符区分各个列，空列会保存NULL（\n）来保留列位置，
      但外部表加载某些数据时如果列不够，如表13列，文件数据只有2列，则在表查询时表中的末尾剩余列无数据对应，自动显示为NULL

  3. 所以，NULL转化为空字符串，可以节省磁盘空间

    • 建表时直接指定

      # 第一种方式
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'  
WITH SERDEPROPERTIES ('serialization.null.format' = '')  
# 第二种方式
 ROW FORMAT DELIMITED NULL DEFINED AS ''

    • 修改已存在的表

      ALTER TABLE hive_tb SET SERDEPROPERTIES('serialization.null.format' = '');

  4. 使用函数处理NULL值

    • NVL(expr1,expr2) 如果第一个参数为NULL那么显示第二个参数的值，如果第一个参数的值不为NULL，则显示第一个参数本来的值

    • Coalesce(expr1, expr2, expr3….. exprn) 返回表达式中第一个非空表达式，如果所有自变量均为NULL，则 COALESCE 返回NULL

      SELECT COALESCE(NULL,null,3,4,5); 　　-- 结果为：3
SELECT COALESCE(NULL,null,'',3,4,5);   -- 结果为：''
SELECT COALESCE(NULL,null,null,NULL);  -- 结果为：null

我是 fx67ll.com，如果您发现本文有什么错误，欢迎在评论区讨论指正，感谢您的阅读！
如果您喜欢这篇文章，欢迎访问我的 本文github仓库地址，为我点一颗Star，Thanks~ :)
转发请注明参考文章地址，非常感谢！！！

你可能感兴趣的:(sqlhive)

  • hive函数 echolvan
    时间函数与sql不同的点sqlhive解释now()current_date()选取现在时间hive特有的集合函数ReturnTypeName(Signature)Descriptionintsize(Map)Returnsthenumberofelementsinthemaptype.求map的长度intsize(Array)Returnsthenumberofelementsinthearra
  • spark streaming消费kafka的数据 并写入HDFS和直接写hive表 （scala版本） 安心做个小废物 hadoopkafkasparkhivespark大数据kafkahadoop
    首先我消费的kafka的数据的类型为json类型数据话不多说直接上代码pom.xml4.0.0hive_sqlhive_sql1.0-SNAPSHOT20082.7.0scala-tools.orgScala-ToolsMaven2Repositoryhttp://scala-tools.org/repo-releasesscala-tools.orgScala-ToolsMaven2Reposi
  • --------------------通过spark2.x版本将数据导入hive中出现的问题----------------------- weixin_30430169 大数据开发工具数据库
    一：将数据手动导入hive中（1）先将数据和脚本用上传工具传入/home/hadoop中（2）在虚拟机中./hive-f/home/hadoop/createHiveTab.sql运行该命令，数据将手动导入hive中(在这里注意hive-f和hive-e的区别)： ./hive-f/home/hadoop/createHiveTab.sqlhive-f后面指定的是一个文件，然后文件里面直接写sql
  • hive -e 和hive -f 重定向数据，清除warn 大胜胜胜胜胜胜 hive
    问题现象：hive-f“hsql.sql”>/tmp/hsql.loghive-e“select*fromtmp.tablelimit10”>/tmp/hsql.log备注：hive-f与hive-e作用是相同的。-f是指定hsql文件。-e是指定要执行的sqlHIVE执行重定向之后数据最后多了两行日志。WARN:Themethodclassorg.apache.commons.logging.i
  • Hive知识点总结（持续更新） 李佳琪大数据成长之路 HIVE
    文章目录hive基本概念hive的意义hive优缺点hive的架构原理hive和数据库比较hive的数据类型基本数据类型集合数据类型hive的表内部表外部表内部表外部表的转换分区表分桶表数据加载hive文件格式hive基本概念hive的意义hive是一个数据仓库工具，把结构化数据映射成表支持类sqlhive就是把hql转换为MapReduce降低了我们学习成本hive存储依赖于hdfs执行程序运行
  • hive-sql查询结果保留两位小数 学海无涯2.0 hive学习
    需求要求保留2位小数，查博客大多是sql用法，但是hive-sql和sql还是有区别的，不知道大家发现没有，hive里有个自动转整的功能，示例SELECT1.0；结果是1.0sqlSELECT1.0；结果是1hive-sqlhive-sql里截取两位小数的语句round(column_name,2)四舍五入截取(这种方法慎用，有时候结果不是你想要的)regexp_extract(column_na
  • hive -f/-e 结果出现WARN问题 SeaSky_Steven hive
    问题现象：hive-f“hsql.sql”>/tmp/hsql.loghive-e“select*fromtmp.tablelimit10”>/tmp/hsql.log备注：hive-f与hive-e作用是相同的。-f是指定hsql文件。-e是指定要执行的sqlHIVE执行重定向之后数据最后多了两行日志。WARN:Themethodclassorg.apache.commons.logging.i
  • hive -e 和hive -f 重定向数据，清除warn 大胜胜胜胜胜胜 hive
    问题现象：hive-f“hsql.sql”>/tmp/hsql.loghive-e“select*fromtmp.tablelimit10”>/tmp/hsql.log备注：hive-f与hive-e作用是相同的。-f是指定hsql文件。-e是指定要执行的sqlHIVE执行重定向之后数据最后多了两行日志。WARN:Themethodclassorg.apache.commons.logging.i
  • hadoop入门7 invincibleFF hadoop
    Hive是什么？其体系结构简介（配合sql就会HIVE）最终还是转换成Map/ReduceHive的安装与管理HiveQL数据类型，表以及表的操作HiveQL查询数据Hive的Java客户端Hive的自定义函数UDFHive的作用是数据挖掘，配合sqlHive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储，查询和分析存储在H
  • java Illegal overloaded getter method with ambiguous type for propert的解决 zwllxs javajdk
    好久不来iteye,今天又来看看，哈哈,今天碰到在编码时，反射中会抛出 Illegal overloaded getter method with ambiguous type for propert这么个东东，从字面意思看，是反射在获取getter时迷惑了，然后回想起java在boolean值在生成getter时，分别有is和getter，也许我们的反射对象中就有is开头的方法迷惑了jdk，
  • IT人应当知道的10个行业小内幕 beijingjava 工作互联网
    10. 虽然IT业的薪酬比其他很多行业要好，但有公司因此视你为其“佣人”。 　　尽管IT人士的薪水没有互联网泡沫之前要好，但和其他行业人士比较，IT人的薪资还算好点。在接下的几十年中，科技在商业和社会发展中所占分量会一直增加，所以我们完全有理由相信，IT专业人才的需求量也不会减少。 　　然而，正因为IT人士的薪水普遍较高，所以有些公司认为给了你这么多钱，就把你看成是公司的“佣人”，拥有你的支配
  • java 实现自定义链表 CrazyMizzz java数据结构
    1.链表结构   链表是链式的结构 2.链表的组成    链表是由头节点，中间节点和尾节点组成    节点是由两个部分组成：       1.数据域       2.引用域 3.链表的实现 &nbs
  • web项目发布到服务器后图片过一会儿消失 麦田的设计者 struts2上传图片永久保存
      作为一名学习了android和j2ee的程序员，我们必须要意识到，客服端和服务器端的交互是很有必要的，比如你用eclipse写了一个web工程，并且发布到了服务器（tomcat）上，这时你在webapps目录下看到了你发布的web工程，你可以打开电脑的浏览器输入http://localhost:8080/工程/路径访问里面的资源。但是，有时你会突然的发现之前用struts2上传的图片
  • CodeIgniter框架Cart类 name 不能设置中文的解决方法 IT独行者 CodeIgniterCart框架　
    今天试用了一下CodeIgniter的Cart类时遇到了个小问题，发现当name的值为中文时，就写入不了session。在这里特别提醒一下。 在CI手册里也有说明，如下： $data = array( 'id' => 'sku_123ABC', 'qty' => 1, '
  • linux回收站 _wy_ linux回收站
    今天一不小心在ubuntu下把一个文件移动到了回收站，我并不想删，手误了。我急忙到Nautilus下的回收站中准备恢复它，但是里面居然什么都没有。     后来我发现这是由于我删文件的地方不在HOME所在的分区，而是在另一个独立的Linux分区下，这是我专门用于开发的分区。而我删除的东东在分区根目录下的.Trash-1000/file目录下，相关的删除信息（删除时间和文件所在
  • jquery回到页面顶端 知了ing htmljquerycss
    html代码： <h1 id="anchor">页面标题</h1> <div id="container">页面内容</div> <p><a href="#anchor" class="topLink">回到顶端</a><
  • B树、B-树、B+树、B*树 矮蛋蛋 B树
    原文地址： http://www.cnblogs.com/oldhorse/archive/2009/11/16/1604009.html B树        即二叉搜索树：        1.所有非叶子结点至多拥有两个儿子（Left和Right）； &nb
  • 数据库连接池 alafqq 数据库连接池
    http://www.cnblogs.com/xdp-gacl/p/4002804.html @Anthor:孤傲苍狼 数据库连接池 用MySQLv5版本的数据库驱动没有问题，使用MySQLv6和Oracle的数据库驱动时候报如下错误： java.lang.ClassCastException: $Proxy0 cannot be cast to java.sql.Connec
  • java泛型 百合不是茶 java泛型
    泛型 在Java SE 1.5之前，没有泛型的情况的下，通过对类型Object的引用来实现参数的“任意化”，任意化的缺点就是要实行强制转换，这种强制转换可能会带来不安全的隐患   泛型的特点：消除强制转换 确保类型安全 向后兼容   简单泛型的定义：      泛型：就是在类中将其模糊化，在创建对象的时候再具体定义 class fan
  • javascript闭包[两个小测试例子] bijian1013 JavaScriptJavaScript
    一.程序一 <script> var name = "The Window"; var Object_a = { 　　name : "My Object", 　　getNameFunc : function(){ var that = this; 　　　　return function(){ 　　　　
  • 探索JUnit4扩展：假设机制（Assumption） bijian1013 javaAssumptionJUnit单元测试
    一.假设机制（Assumption）概述        理想情况下，写测试用例的开发人员可以明确的知道所有导致他们所写的测试用例不通过的地方，但是有的时候，这些导致测试用例不通过的地方并不是很容易的被发现，可能隐藏得很深，从而导致开发人员在写测试用例时很难预测到这些因素，而且往往这些因素并不是开发人员当初设计测试用例时真正目的，
  • 【Gson四】范型POJO的反序列化 bit1129 POJO
    在下面这个例子中，POJO(Data类)是一个范型类，在Tests中，指定范型类为PieceData，POJO初始化完成后，通过 String str = new Gson().toJson(data); 得到范型化的POJO序列化得到的JSON串，然后将这个JSON串反序列化为POJO   import com.google.gson.Gson; import java.
  • 【Spark八十五】Spark Streaming分析结果落地到MySQL bit1129 Stream
    几点总结： 1. DStream.foreachRDD是一个Output Operation，类似于RDD的action，会触发Job的提交。DStream.foreachRDD是数据落地很常用的方法 2. 获取MySQL Connection的操作应该放在foreachRDD的参数（是一个RDD[T]=>Unit的函数类型)，这样，当foreachRDD方法在每个Worker上执行时，
  • NGINX + LUA实现复杂的控制 ronin47 nginx lua
    安装lua_nginx_module 模块 lua_nginx_module 可以一步步的安装，也可以直接用淘宝的OpenResty Centos和debian的安装就简单了。。 这里说下freebsd的安装： fetch http://www.lua.org/ftp/lua-5.1.4.tar.gz tar zxvf lua-5.1.4.tar.gz cd lua-5.1.4 ma
  • java-递归判断数组是否升序 bylijinnan java
    public class IsAccendListRecursive { /*递归判断数组是否升序 * if a Integer array is ascending,return true * use recursion */ public static void main(String[] args){ IsAccendListRecursiv
  • Netty源码学习-DefaultChannelPipeline2 bylijinnan javanetty
    Netty3的API http://docs.jboss.org/netty/3.2/api/org/jboss/netty/channel/ChannelPipeline.html 里面提到ChannelPipeline的一个“pitfall”： 如果ChannelPipeline只有一个handler（假设为handlerA）且希望用另一handler（假设为handlerB） 来
  • Java工具之JPS chinrui java
    JPS使用     熟悉Linux的朋友们都知道，Linux下有一个常用的命令叫做ps（Process Status)，是用来查看Linux环境下进程信息的。同样的，在Java Virtual Machine里面也提供了类似的工具供广大Java开发人员使用，它就是jps（Java Process Status)，它可以用来
  • window.print分页打印 ctrain window
    function init() { var tt = document.getElementById("tt"); var childNodes = tt.childNodes[0].childNodes; var level = 0; for (var i = 0; i < childNodes.length; i++) {
  • 安装hadoop时 执行jps命令Error occurred during initialization of VM daizj jdkhadoopjps
    在安装hadoop时，执行JPS出现下面错误   [slave16][email protected]:/tmp/hsperfdata_hdfs# jps Error occurred during initialization of VM java.lang.Error: Properties init: Could not determine current working
  • PHP开发大型项目的一点经验 dcj3sjt126com PHP重构
    一、变量 最好是把所有的变量存储在一个数组中，这样在程序的开发中可以带来很多的方便，特别是当程序很大的时候。变量的命名就当适合自己的习惯，不管是用拼音还是英语，至少应当有一定的意义，以便适合记忆。变量的命名尽量规范化，不要与PHP中的关键字相冲突。 二、函数 PHP自带了很多函数，这给我们程序的编写带来了很多的方便。当然，在大型程序中我们往往自己要定义许多个函数，几十
  • android笔记之--向网络发送GET/POST请求参数 dcj3sjt126com android
    使用GET方法发送请求 private static boolean sendGETRequest (String path, Map<String, String> params) throws Exception{ //发送地http://192.168.100.91:8080/videoServi
  • linux复习笔记 之bash shell (3) 通配符 eksliang linux 通配符linux通配符
    转载请出自出处： http://eksliang.iteye.com/blog/2104387 在bash的操作环境中有一个非常有用的功能，那就是通配符。 下面列出一些常用的通配符，如下表所示 符号 意义 * 万用字符，代表0个到无穷个任意字符 ? 万用字符，代表一定有一个任意字符 [] 代表一定有一个在中括号内的字符。例如：[abcd]代表一定有一个字符，可能是a、b、c
  • Android关于短信加密 gqdy365 android
    关于Android短信加密功能，我初步了解的如下（只在Android应用层试验）：     1、因为Android有短信收发接口，可以调用接口完成短信收发；         发送过程：APP（基于短信应用修改）接受用户输入号码、内容——>APP对短信内容加密——>调用短信发送方法Sm
  • asp.net在网站根目录下创建文件夹 hvt .netC#hovertreeasp.netWeb Forms
    假设要在asp.net网站的根目录下建立文件夹hovertree,C#代码如下： string m_keleyiFolderName = Server.MapPath("/hovertree"); if (Directory.Exists(m_keleyiFolderName)) { //文件夹已经存在 return; } else { try { D
  • 一个合格的程序员应该读过哪些书 justjavac 程序员书籍
    编者按：2008年8月4日，StackOverflow 网友 Bert F 发帖提问：哪本最具影响力的书，是每个程序员都应该读的？ “如果能时光倒流，回到过去，作为一个开发人员，你可以告诉自己在职业生涯初期应该读一本， 你会选择哪本书呢？我希望这个书单列表内容丰富，可以涵盖很多东西。” 很多程序员响应，他们在推荐时也写下自己的评语。 以前就有国内网友介绍这个程序员书单，不过都是推荐数
  • 单实例实践 跑龙套_az 单例
       1、内部类 public class Singleton { private static class SingletonHolder { public static Singleton singleton = new Singleton(); } public Singleton getRes
  • PO VO BEAN 理解 q137681467 VODTOpo
    PO：      全称是 persistant object持久对象 最形象的理解就是一个PO就是数据库中的一条记录。 好处是可以把一条记录作为一个对象处理，可以方便的转为其它对象。     BO：     全称是 business object:业务对象 主要作用是把业务逻辑封装为一个对象。这个对
  • 战胜惰性，暗自努力 金笛子 努力
    偶然看到一句很贴近生活的话：“别人都在你看不到的地方暗自努力，在你看得到的地方，他们也和你一样显得吊儿郎当，和你一样会抱怨，而只有你自己相信这些都是真的，最后也只有你一人继续不思进取。”很多句子总在不经意中就会戳中一部分人的软肋，我想我们每个人的周围总是有那么些表现得“吊儿郎当”的存在，是否你就真的相信他们如此不思进取，而开始放松了对自己的要求随波逐流呢？ 我有个朋友是搞技术的，平时嘻嘻哈哈，以
  • NDK/JNI二维数组多维数组传递 wenzongliang 二维数组jniNDK
    多维数组和对象数组一样处理，例如二维数组里的每个元素还是一个数组 用jArray表示，直到数组变为一维的，且里面元素为基本类型，去获得一维数组指针。给大家提供个例子。已经测试通过。 Java_cn_wzl_FiveChessView_checkWin( JNIEnv* env,jobject thiz,jobjectArray qizidata) { jint i,j; int s
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他