daizj
daizj

Hive分析窗口函数 LAG,LEAD,FIRST_VALUE,LAST_VALUE

问题导读

1.LAG功能是什么？
2.LEAD与LAG功能有什么相似的地方那个？
3.FIRST_VALUE与LAST_VALUE分别完成什么功能？





接上篇Hive分析窗口函数(二、三) NTILE,ROW_NUMBER,RANK,DENSE_RANK

继续学习这四个分析函数。
注意： 这几个函数不支持WINDOW子句。（什么是WINDOW子句， Hive分析窗口函数（一）SUM,AVG,MIN,MAx）

Hive版本为 apache-hive-0.13.1
数据准备：

  1. cookie1,2015-04-10 10:00:02,url2
  2. cookie1,2015-04-10 10:00:00,url1
  3. cookie1,2015-04-10 10:03:04,1url3
  4. cookie1,2015-04-10 10:50:05,url6
  5. cookie1,2015-04-10 11:00:00,url7
  6. cookie1,2015-04-10 10:10:00,url4
  7. cookie1,2015-04-10 10:50:01,url5
  8. cookie2,2015-04-10 10:00:02,url22
  9. cookie2,2015-04-10 10:00:00,url11
  10. cookie2,2015-04-10 10:03:04,1url33
  11. cookie2,2015-04-10 10:50:05,url66
  12. cookie2,2015-04-10 11:00:00,url77
  13. cookie2,2015-04-10 10:10:00,url44
  14. cookie2,2015-04-10 10:50:01,url55
  15. CREATE EXTERNAL TABLE lxw1234 (
  16. cookieid string,
  17. createtime string,  --页面访问时间
  18. url STRING       --被访问页面
  19. ) ROW FORMAT DELIMITED 
  20. FIELDS TERMINATED BY ',' 
  21. stored as textfile location '/tmp/lxw11/';
  22. hive> select * from lxw1234;
  23. OK
  24. cookie1 2015-04-10 10:00:02     url2
  25. cookie1 2015-04-10 10:00:00     url1
  26. cookie1 2015-04-10 10:03:04     1url3
  27. cookie1 2015-04-10 10:50:05     url6
  28. cookie1 2015-04-10 11:00:00     url7
  29. cookie1 2015-04-10 10:10:00     url4
  30. cookie1 2015-04-10 10:50:01     url5
  31. cookie2 2015-04-10 10:00:02     url22
  32. cookie2 2015-04-10 10:00:00     url11
  33. cookie2 2015-04-10 10:03:04     1url33
  34. cookie2 2015-04-10 10:50:05     url66
  35. cookie2 2015-04-10 11:00:00     url77
  36. cookie2 2015-04-10 10:10:00     url44
  37. cookie2 2015-04-10 10:50:01     url55
复制代码




LAG

LAG(col,n,DEFAULT) 用于统计窗口内往上第n行值
第一个参数为列名，第二个参数为往上第n行（可选，默认为1），第三个参数为默认值（当往上第n行为NULL时候，取默认值，如不指定，则为NULL）

  1. SELECT cookieid,
  2. createtime,
  3. url,
  4. ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY createtime) AS rn,
  5. LAG(createtime,1,'1970-01-01 00:00:00') OVER(PARTITION BY cookieid ORDER BY createtime) AS last_1_time,
  6. LAG(createtime,2) OVER(PARTITION BY cookieid ORDER BY createtime) AS last_2_time 
  7. FROM lxw1234;
  8. cookieid createtime             url    rn       last_1_time             last_2_time
  9. -------------------------------------------------------------------------------------------
  10. cookie1 2015-04-10 10:00:00     url1    1       1970-01-01 00:00:00     NULL
  11. cookie1 2015-04-10 10:00:02     url2    2       2015-04-10 10:00:00     NULL
  12. cookie1 2015-04-10 10:03:04     1url3   3       2015-04-10 10:00:02     2015-04-10 10:00:00
  13. cookie1 2015-04-10 10:10:00     url4    4       2015-04-10 10:03:04     2015-04-10 10:00:02
  14. cookie1 2015-04-10 10:50:01     url5    5       2015-04-10 10:10:00     2015-04-10 10:03:04
  15. cookie1 2015-04-10 10:50:05     url6    6       2015-04-10 10:50:01     2015-04-10 10:10:00
  16. cookie1 2015-04-10 11:00:00     url7    7       2015-04-10 10:50:05     2015-04-10 10:50:01
  17. cookie2 2015-04-10 10:00:00     url11   1       1970-01-01 00:00:00     NULL
  18. cookie2 2015-04-10 10:00:02     url22   2       2015-04-10 10:00:00     NULL
  19. cookie2 2015-04-10 10:03:04     1url33  3       2015-04-10 10:00:02     2015-04-10 10:00:00
  20. cookie2 2015-04-10 10:10:00     url44   4       2015-04-10 10:03:04     2015-04-10 10:00:02
  21. cookie2 2015-04-10 10:50:01     url55   5       2015-04-10 10:10:00     2015-04-10 10:03:04
  22. cookie2 2015-04-10 10:50:05     url66   6       2015-04-10 10:50:01     2015-04-10 10:10:00
  23. cookie2 2015-04-10 11:00:00     url77   7       2015-04-10 10:50:05     2015-04-10 10:50:01
  24. last_1_time: 指定了往上第1行的值，default为'1970-01-01 00:00:00'  
  25.              cookie1第一行，往上1行为NULL,因此取默认值 1970-01-01 00:00:00
  26.              cookie1第三行，往上1行值为第二行值，2015-04-10 10:00:02
  27.              cookie1第六行，往上1行值为第五行值，2015-04-10 10:50:01
  28. last_2_time: 指定了往上第2行的值，为指定默认值
  29.                                                  cookie1第一行，往上2行为NULL
  30.                                                  cookie1第二行，往上2行为NULL
  31.                                                  cookie1第四行，往上2行为第二行值，2015-04-10 10:00:02
  32.                                                  cookie1第七行，往上2行为第五行值，2015-04-10 10:50:01
复制代码


LEAD

与LAG相反
LEAD(col,n,DEFAULT) 用于统计窗口内往下第n行值
第一个参数为列名，第二个参数为往下第n行（可选，默认为1），第三个参数为默认值（当往下第n行为NULL时候，取默认值，如不指定，则为NULL）

  1. SELECT cookieid,
  2. createtime,
  3. url,
  4. ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY createtime) AS rn,
  5. LEAD(createtime,1,'1970-01-01 00:00:00') OVER(PARTITION BY cookieid ORDER BY createtime) AS next_1_time,
  6. LEAD(createtime,2) OVER(PARTITION BY cookieid ORDER BY createtime) AS next_2_time 
  7. FROM lxw1234;
  8. cookieid createtime             url    rn       next_1_time             next_2_time 
  9. -------------------------------------------------------------------------------------------
  10. cookie1 2015-04-10 10:00:00     url1    1       2015-04-10 10:00:02     2015-04-10 10:03:04
  11. cookie1 2015-04-10 10:00:02     url2    2       2015-04-10 10:03:04     2015-04-10 10:10:00
  12. cookie1 2015-04-10 10:03:04     1url3   3       2015-04-10 10:10:00     2015-04-10 10:50:01
  13. cookie1 2015-04-10 10:10:00     url4    4       2015-04-10 10:50:01     2015-04-10 10:50:05
  14. cookie1 2015-04-10 10:50:01     url5    5       2015-04-10 10:50:05     2015-04-10 11:00:00
  15. cookie1 2015-04-10 10:50:05     url6    6       2015-04-10 11:00:00     NULL
  16. cookie1 2015-04-10 11:00:00     url7    7       1970-01-01 00:00:00     NULL
  17. cookie2 2015-04-10 10:00:00     url11   1       2015-04-10 10:00:02     2015-04-10 10:03:04
  18. cookie2 2015-04-10 10:00:02     url22   2       2015-04-10 10:03:04     2015-04-10 10:10:00
  19. cookie2 2015-04-10 10:03:04     1url33  3       2015-04-10 10:10:00     2015-04-10 10:50:01
  20. cookie2 2015-04-10 10:10:00     url44   4       2015-04-10 10:50:01     2015-04-10 10:50:05
  21. cookie2 2015-04-10 10:50:01     url55   5       2015-04-10 10:50:05     2015-04-10 11:00:00
  22. cookie2 2015-04-10 10:50:05     url66   6       2015-04-10 11:00:00     NULL
  23. cookie2 2015-04-10 11:00:00     url77   7       1970-01-01 00:00:00     NULL
  24. --逻辑与LAG一样，只不过LAG是往上，LEAD是往下。
复制代码



FIRST_VALUE

取分组内排序后，截止到当前行，第一个值

  1. SELECT cookieid,
  2. createtime,
  3. url,
  4. ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY createtime) AS rn,
  5. FIRST_VALUE(url) OVER(PARTITION BY cookieid ORDER BY createtime) AS first1 
  6. FROM lxw1234;
  7. cookieid  createtime            url     rn      first1
  8. ---------------------------------------------------------
  9. cookie1 2015-04-10 10:00:00     url1    1       url1
  10. cookie1 2015-04-10 10:00:02     url2    2       url1
  11. cookie1 2015-04-10 10:03:04     1url3   3       url1
  12. cookie1 2015-04-10 10:10:00     url4    4       url1
  13. cookie1 2015-04-10 10:50:01     url5    5       url1
  14. cookie1 2015-04-10 10:50:05     url6    6       url1
  15. cookie1 2015-04-10 11:00:00     url7    7       url1
  16. cookie2 2015-04-10 10:00:00     url11   1       url11
  17. cookie2 2015-04-10 10:00:02     url22   2       url11
  18. cookie2 2015-04-10 10:03:04     1url33  3       url11
  19. cookie2 2015-04-10 10:10:00     url44   4       url11
  20. cookie2 2015-04-10 10:50:01     url55   5       url11
  21. cookie2 2015-04-10 10:50:05     url66   6       url11
  22. cookie2 2015-04-10 11:00:00     url77   7       url11
复制代码


LAST_VALUE

取分组内排序后，截止到当前行，最后一个值

  1. SELECT cookieid,
  2. createtime,
  3. url,
  4. ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY createtime) AS rn,
  5. LAST_VALUE(url) OVER(PARTITION BY cookieid ORDER BY createtime) AS last1 
  6. FROM lxw1234;
  7. cookieid  createtime            url    rn       last1  
  8. -----------------------------------------------------------------
  9. cookie1 2015-04-10 10:00:00     url1    1       url1
  10. cookie1 2015-04-10 10:00:02     url2    2       url2
  11. cookie1 2015-04-10 10:03:04     1url3   3       1url3
  12. cookie1 2015-04-10 10:10:00     url4    4       url4
  13. cookie1 2015-04-10 10:50:01     url5    5       url5
  14. cookie1 2015-04-10 10:50:05     url6    6       url6
  15. cookie1 2015-04-10 11:00:00     url7    7       url7
  16. cookie2 2015-04-10 10:00:00     url11   1       url11
  17. cookie2 2015-04-10 10:00:02     url22   2       url22
  18. cookie2 2015-04-10 10:03:04     1url33  3       1url33
  19. cookie2 2015-04-10 10:10:00     url44   4       url44
  20. cookie2 2015-04-10 10:50:01     url55   5       url55
  21. cookie2 2015-04-10 10:50:05     url66   6       url66
  22. cookie2 2015-04-10 11:00:00     url77   7       url77
复制代码

如果不指定ORDER BY，则默认按照记录在文件中的偏移量进行排序，会出现错误的结果
  1. SELECT cookieid,
  2. createtime,
  3. url,
  4. FIRST_VALUE(url) OVER(PARTITION BY cookieid) AS first2  
  5. FROM lxw1234;
  6. cookieid  createtime            url     first2
  7. ----------------------------------------------
  8. cookie1 2015-04-10 10:00:02     url2    url2
  9. cookie1 2015-04-10 10:00:00     url1    url2
  10. cookie1 2015-04-10 10:03:04     1url3   url2
  11. cookie1 2015-04-10 10:50:05     url6    url2
  12. cookie1 2015-04-10 11:00:00     url7    url2
  13. cookie1 2015-04-10 10:10:00     url4    url2
  14. cookie1 2015-04-10 10:50:01     url5    url2
  15. cookie2 2015-04-10 10:00:02     url22   url22
  16. cookie2 2015-04-10 10:00:00     url11   url22
  17. cookie2 2015-04-10 10:03:04     1url33  url22
  18. cookie2 2015-04-10 10:50:05     url66   url22
  19. cookie2 2015-04-10 11:00:00     url77   url22
  20. cookie2 2015-04-10 10:10:00     url44   url22
  21. cookie2 2015-04-10 10:50:01     url55   url22
  22. SELECT cookieid,
  23. createtime,
  24. url,
  25. LAST_VALUE(url) OVER(PARTITION BY cookieid) AS last2  
  26. FROM lxw1234;
  27. cookieid  createtime            url     last2
  28. ----------------------------------------------
  29. cookie1 2015-04-10 10:00:02     url2    url5
  30. cookie1 2015-04-10 10:00:00     url1    url5
  31. cookie1 2015-04-10 10:03:04     1url3   url5
  32. cookie1 2015-04-10 10:50:05     url6    url5
  33. cookie1 2015-04-10 11:00:00     url7    url5
  34. cookie1 2015-04-10 10:10:00     url4    url5
  35. cookie1 2015-04-10 10:50:01     url5    url5
  36. cookie2 2015-04-10 10:00:02     url22   url55
  37. cookie2 2015-04-10 10:00:00     url11   url55
  38. cookie2 2015-04-10 10:03:04     1url33  url55
  39. cookie2 2015-04-10 10:50:05     url66   url55
  40. cookie2 2015-04-10 11:00:00     url77   url55
  41. cookie2 2015-04-10 10:10:00     url44   url55
  42. cookie2 2015-04-10 10:50:01     url55   url55
复制代码

如果想要取分组内排序后最后一个值，则需要变通一下：
  1. SELECT cookieid,
  2. createtime,
  3. url,
  4. ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY createtime) AS rn,
  5. LAST_VALUE(url) OVER(PARTITION BY cookieid ORDER BY createtime) AS last1,
  6. FIRST_VALUE(url) OVER(PARTITION BY cookieid ORDER BY createtime DESC) AS last2 
  7. FROM lxw1234 
  8. ORDER BY cookieid,createtime;
  9. cookieid  createtime            url     rn     last1    last2
  10. -------------------------------------------------------------
  11. cookie1 2015-04-10 10:00:00     url1    1       url1    url7
  12. cookie1 2015-04-10 10:00:02     url2    2       url2    url7
  13. cookie1 2015-04-10 10:03:04     1url3   3       1url3   url7
  14. cookie1 2015-04-10 10:10:00     url4    4       url4    url7
  15. cookie1 2015-04-10 10:50:01     url5    5       url5    url7
  16. cookie1 2015-04-10 10:50:05     url6    6       url6    url7
  17. cookie1 2015-04-10 11:00:00     url7    7       url7    url7
  18. cookie2 2015-04-10 10:00:00     url11   1       url11   url77
  19. cookie2 2015-04-10 10:00:02     url22   2       url22   url77
  20. cookie2 2015-04-10 10:03:04     1url33  3       1url33  url77
  21. cookie2 2015-04-10 10:10:00     url44   4       url44   url77
  22. cookie2 2015-04-10 10:50:01     url55   5       url55   url77
  23. cookie2 2015-04-10 10:50:05     url66   6       url66   url77
  24. cookie2 2015-04-10 11:00:00     url77   7       url77   url77
复制代码


提示：在使用分析函数的过程中，要特别注意ORDER BY子句，用的不恰当，统计出的结果就不是你所期望的

 

 

本文转自：http://www.aboutyun.com/thread-12848-1-1.html

你可能感兴趣的:(hive,FIRST_VALUE,lag,lead,last_value)

  • python是什么意思中文-在python中%是什么意思 编程大乐趣
    Python中%有两种：1、数值运算：%代表取模，返回除法的余数。如：>>>7%212、%操作符（字符串格式化，stringformatting），说明如下：%[(name)][flags][width].[precision]typecode(name)为命名flags可以有+，-，''或0。+表示右对齐。-表示左对齐。''为一个空格，表示在正数的左侧填充一个空格，从而与负数对齐。0表示使用0填
  • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
  • 2019 上海原创女装工作室创业一年 感悟 焦虑中带有恐慌感 女装设计师茜公子__
    时间过的太快，跟不上脚步，真不想虚度光阴，2019开春立下的FLAG，至今一条没实现！想去✈️，每每看到世界那么大，也想去看看。就像是在诉说着我的心声，再看看日益缩水的钱袋，恨自己能力有限……想去的地方太多，被现实绊住脚步，要先生存立足，才能有所谓的诗和远方……我是80的尾巴，2018年6月果断辞了工作近8年的公司，当时也是思想斗争长达几个月，断了自己的后路，当时就想再工作几年又能怎么样？锁住了自
  • 浅谈MapReduce Android路上的人 Hadoop分布式计算mapreduce分布式框架hadoop
    从今天开始，本人将会开始对另一项技术的学习，就是当下炙手可热的Hadoop分布式就算技术。目前国内外的诸多公司因为业务发展的需要，都纷纷用了此平台。国内的比如BAT啦，国外的在这方面走的更加的前面，就不一一列举了。但是Hadoop作为Apache的一个开源项目，在下面有非常多的子项目，比如HDFS，HBase,Hive，Pig,等等，要先彻底学习整个Hadoop，仅仅凭借一个的力量，是远远不够的。
  • FlagEmbedding 吉小雨 python库python
    FlagEmbedding教程FlagEmbedding是一个用于生成文本嵌入（textembeddings）的库，适合处理自然语言处理（NLP）中的各种任务。嵌入（embeddings）是将文本表示为连续向量，能够捕捉语义上的相似性，常用于文本分类、聚类、信息检索等场景。官方文档链接：FlagEmbedding官方GitHub一、FlagEmbedding库概述1.1什么是FlagEmbeddi
  • Makefile问答之 04 优化异常与警告设置 捕鲸叉 Linux使用Linux系统编程Makefilelinux
    Makefile怎样指定优化选项，包括编译和链接优化，常用的选项有哪些？在Makefile中，你可以通过设置编译器和链接器的选项来指定优化选项。优化选项可以分为编译优化和链接优化，以下是如何在Makefile中指定这些选项，以及一些常用的选项。示例Makefile#编译器CC=gcc#编译选项CFLAGS=-Wall-O2#链接选项LDFLAGS=-O2#需要链接的库LDLIBS=#目标文件TAR
  • Kafka 基础与架构理解 StaticKing KAFKAkafka
    目录前言Kafka基础概念消息队列简介：Kafka与传统消息队列（如RabbitMQ、ActiveMQ）的对比Kafka的组件Kafka的工作原理：消息的生产、分发、消费流程Kafka系统架构Kafka的分布式架构设计Leader-Follower机制与数据复制Log-basedStorage和持久化Broker间通信协议Zookeeper在Kafka中的角色总结前言Kafka是一个分布式的消息系
  • python图像匹配_opencvpython中的图像匹配 weixin_39585675 python图像匹配
    我一直在做一个项目，用opencvpython识别相机中显示的标志。我已经尝试过使用surf、颜色直方图匹配和模板匹配。但在这3个问题中，它并不总是返回正确的答案。我现在想要的是，解决我这个问题的最好办法是什么。模板图像示例：以下是摄像头中显示的标志示例。如果这是我想要识别的图像，该怎么用？在更新matchTemplate中的代码flags=["Cambodia.jpg","Laos.jpg","
  • P1576 最小花费 「已注销」 算法c++数据结构
    ![](最小花费-洛谷)#includeusingnamespacestd;inthead[200010],tim;doubledis[200010];boolflag[200010];structcsz{intto;doublew;intnext;}edge[200010];voidadd(intu,intv,doublew){edge[++tim].to=v;edge[tim].w=1.0-w
  • Linux中open函数详解 460833359 LinuxClinuxopen函数
    初级文件I/O函数（即不用缓存的I/O函数）：open（打开文件）相关函数read，write，fcntl，create，lseek，close，link，stat，umask，unlink，fopen头文件#include#include#include定义函数intopen(constchar*pathname,intflags);intopen(constchar*pathname,intf
  • CTF-bugku-crypto-[7+1+0]-base64解码之后做偏移 沧海一粟日尽其用 算法安全python
    CTF-bugku-crypto-[7+1+0]-base64解码之后做偏移1.题目2.解题思路2.1base64编码原理2.2解题思路2.2.1base64解码找规律2.2.2破解思路3.解题脚本4.flag5.附EASCII码表1.题目提示信息：7+1+0？格式bugku{xxxxx}密文：4nXna/V7t2LpdLI44mn0fQ==要求：破解密文获得flag2.解题思路2.1base64
  • Presto【基础 01】简介+架构+数据源+数据模型 2401_84254343 程序员架构
    一个Catalog包含Schema和Connector。例如，配置JMX的Catalog，通过JXMConnector访问JXM信息。当执行一条SQL语句时，可以同时运行在多个Catalog。Presto处理table时，是通过表的完全限定（fully-qualified）名来找到Catalog。例如，一个表的权限定名是hive.test_data.test，则test是表名，test_data是
  • Linux下open函数详解 威桑 Linuxlinux
    在Linux中，open函数是文件操作的核心系统调用之一，它用于打开文件并返回一个文件描述符，用于后续的文件操作如读取、写入、关闭等。open函数的原型#include#include#include#includeintopen(constchar*pathname,intflags);intopen(constchar*pathname,intflags,mode_tmode);open函数有
  • 老生常谈：MySQL高可用架构 我有一头小花驴 mysql架构数据库
    引言“高可用”是互联网一个永恒的话题，先避开MySQL不谈，为了保证各种服务的高可用有几种常用的解决方案。服务冗余：把服务部署多份，当某个节点不可用时，切换到其他节点。服务冗余对于无状态的服务是相对容易的。服务备份：有些服务是无法同时存在多个运行时的，比如说：Nginx的反向代理，一些集群的leader节点。这时可以存在一个备份服务，处于随时待命状态。自动切换：服务冗余之后，当某个节点不可用时，要
  • 倒计时45天 sarawhu
    还有45天就到二宝预产期了。还有两周就春节放假了，现在都是数着日子过活。还不知道生完后是如何地鸡飞狗跳呢！希望一切都顺顺当当的。工作就先放一边吧，把身体养好才是最重要的事情。立了好多flag都等着去实现呢。这几年书读的比较少，还是要定一个目标，两周一本比较合适。因为我读书快，很容易囫囵吞枣。所以不要追求速度，同时强调输出。只有输出才学的深刻，而不是走马观花。
  • 大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏 租房推荐系统 58同城租房爬虫 房源推荐系统 房价预测系统 计算机毕业设计 机器学习 深度学习 人工智能 2401_84572577 程序员大数据hadoop人工智能
    做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
  • 主流行架构 rainbowcheng 架构架构
    nexus，gitlab,svn,jenkins,sonar,docker，apollo，catteambition，axure，蓝湖，禅道,WCP；redis，kafka，es，zookeeper，dubbo，shardingjdbc，mysql，InfluxDB，Telegraf，Grafana，Nginx，xxl-job，Neo4j,NebulaGraph是一个高性能的,NOSQL图形数据库
  • 2021 余额不足 智慧小仙女
    没记错的话，2021立下的五个Flag，都实现了呢。感觉有些不可思议，原来生活处处是惊喜，偶尔还伴随着惊吓。不过，还好，一切都有惊无险。眼看着2021即将过去，2022即将到来，我还是不慌不忙地生活着，工作着，还有迷茫着。回顾2021，还真是感慨万千。不平凡的2021，我终于从一个人孤军奋战熬到两个人对抗生活。果然还是有伴儿的感觉好，虽然偶尔也会吵，但还是好过一个人的孤单。何况我的亲爱的，还是那么
  • [bzoj1139]Wie weixin_30437481
    1139:[POI2009]WieTimeLimit:10SecMemoryLimit:259MBDescriptionByteasarhasbecomeahexer-aconquerorofmonsters.CurrentlyheistoreturntohishometownByteburg.Thewayhome,alas,leadsthroughalandfullofbeasts.Fortun
  • 2020-04-09奋进的周四 深山含笑空凝峡谷
    从小就特别希望和别人不一样。瞪着一双很乖的眼睛目不转睛看老师，嘴上不说心里没放下过独特眼光和taste也是从幼年就形成了。要视角不同，创新，玩点别的花样和审美有些概念让自己想起来就会有点兴奋比如life-hacker/量化自我/digitalnormad/自由编舞师/读书社群leader/coach/创作者自我的形成/个体的觉醒/作为创作者，一定要有信心——我做的创作的，即使有人做过类似的了，我做
  • 大数据之flink与hive 星辰_mya 大数据flinkhive
    其实吧我不太想写flink，因为线上经验确实不多，这也是我需要补的地方，没有条件创造条件，先来一篇吧flink：高性能低延迟流批一体的分布式计算框架基于事件时间对实时数据精准处理快速响应支持批处理，高效离线分析和数据挖掘数据仓库的引擎丰富数据源/接收器，集成多种数据存储格式和源，比较常见就是咱们今天的主题hive了checkpoint恢复机制，故障恢复快速恢复计算任务分布式弹性扩展，据业务灵活增加
  • Day22 把时间当朋友-001 平小一
    之前立了个flag，说要坚持日更100天。素材来源于上班路上听的得到或者看的文章，今天没库存了也不知道写啥，虽然早上一到公司就写了今天要日更的目标。来了之后先东搞西搞的干活，一边想素材，一会儿又签离职，正打算写的时候又被电话打断了。等我真正开始写的时候，离开始准备写的时候已经过去1个半小时了。这种情况是不是很常见？明明打算要干一件事，准备干的时候又被其他的事情不断打断，等真正想起来要干的时候时间已
  • hive血缘关系之输入表与目标表的解析 zxfBdd hive大数据治理大数据
    接了一个新需求：需要做数据仓库的血缘关系。正所谓兵来将挡水来土掩，那咱就动手吧。血缘关系是数据治理的一块，其实有专门的第三方数据治理框架，但考虑到目前的线上环境已经趋于稳定，引入新的框架无疑是劳民伤财，伤筋动骨，所以就想以最小的代价把这个事情给做了。目前我们考虑做的血缘关系呢只是做输入表和输出表，最后会形成一张表与表之间的链路图。这个东西的好处就是有助于仓库人员梳理业务，后面可能还会做字段之间的血
  • ExoPlayer架构详解与源码分析（7）——SampleQueue(4) 2401_83740189 程序员架构
    long[]newSourceIds=newlong[newCapacity];long[]newOffsets=newlong[newCapacity];long[]newTimesUs=newlong[newCapacity];int[]newFlags=newint[newCapacity];int[]newSizes=newint[newCapacity];CryptoData[]newC
  • 初级练习[3]:Hive SQL子查询应用 大数据深度洞察 Hivehivesqlhadoop数据仓库大数据数据库
    目录环境准备看如下链接子查询查询所有课程成绩均小于60分的学生的学号、姓名查询没有学全所有课的学生的学号、姓名解释：没有学全所有课，也就是该学生选修的课程数<总的课程数。查询出只选修了三门课程的全部学生的学号和姓名环境准备看如下链接环境准备https://blog.csdn.net/qq_45115959/article/details/142057624?spm=1001.2014.3001.5
  • Linux下载压缩包：tar.gz、zip、tar.bz2格式全攻略 promise524 Linuxlinux运维服务器后端bashshell
    在Linux中，下载各种格式的压缩包（如.tar.gz、.zip、.tar.bz2等）通常使用命令行工具如wget和curl。1.使用wget下载压缩包wget是Linux中最常用的文件下载工具，支持HTTP、HTTPS、FTP等协议，可以直接从命令行下载文件。基本命令：wget[URL]下载.tar.gz文件wgethttps://test.com/archive.tar.gz此命令将从指定的U
  • 「经济学人」Streaming-video wars 英语学习社
    GameofphonesHBOwillleadAT&T’schallengetoNetflixTimeWarner’scrownjewelmustscaleupwhilemaintainingqualityINLATE2012,justbeforethereleaseof“HouseofCards”,TedSarandos,chiefcontentofficerofNetflix,declared
  • Anaconda版本和Python版本对应关系 纬领网络 pythonanaconda3
    官网下载地址：https://repo.anaconda.com/archive/下载地址：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/anaconda3版本基础python版本Anaconda3-2024.06-1Python3.12.4Anaconda3-2024.02-1Python3.11.7Anaconda3-2023.09
  • 《非常逆袭，萌宝妈咪二加一》童安安穆承谨（独家小说）精彩TXT阅读 小说推书
    《非常逆袭，萌宝妈咪二加一》童安安穆承谨（独家小说）精彩TXT阅读主角：童安安穆承谨简介：四年前被一个臭男人骗，童安安发誓要他‘血债血偿’！“穆总，亲子鉴定报告结果显示，童小姐所带回来那个宝宝确实是您的亲生骨肉。”穆承谨掀桌立flag：“销毁鉴定结果，不管那女人耍什么把戏，我不可能跟她结婚。可关注微信公众号【冰晶文楼】去回个书号【405】，即可免费阅读【非常逆袭，萌宝妈咪二加一】全文！童安安紧张到
  • Redis Sentinel（哨兵）详解 dlwlrma ⥳ Java八股框架redissentinel数据库
    目录一：什么是Sentinel（哨兵）二：Sentinel有什么用1.监控2.故障转移3通知4.配置提供三：Sentinel如何检测master节点宕机1.主观下线2.客观下线四：Sentinel是如何选举出新的master1.slave的优先级2.复制进度3.runid五：如何在sentinel集群中选择出Leader前言：有关Redis的基础知识可以参照我之前写的文章Redis必知必会的知识在
  • Spring的注解积累 yijiesuifeng spring注解
    用注解来向Spring容器注册Bean。   需要在applicationContext.xml中注册： <context:component-scan base-package=”pagkage1[,pagkage2,…,pagkageN]”/>。 如：在base-package指明一个包    <context:component-sc
  • 传感器 百合不是茶 android传感器
    android传感器的作用主要就是来获取数据,根据得到的数据来触发某种事件   下面就以重力传感器为例;   1,在onCreate中获得传感器服务   private SensorManager sm;// 获得系统的服务 private Sensor sensor;// 创建传感器实例 @Override protected void
  • [光磁与探测]金吕玉衣的意义 comsci
          这是一个古代人的秘密:现在告诉大家       信不信由你们:       穿上金律玉衣的人,如果处于灵魂出窍的状态,可以飞到宇宙中去看星星       这就是为什么古代
  • 精简的反序打印某个数 沐刃青蛟 打印
    以前看到一些让求反序打印某个数的程序。 比如：输入123，输出321。   记得以前是告诉你是几位数的，当时就抓耳挠腮，完全没有思路。   似乎最后是用到%和/方法解决的。   而今突然想到一个简短的方法，就可以实现任意位数的反序打印（但是如果是首位数或者尾位数为0时就没有打印出来了）   代码如下： long num, num1=0;
  • PHP：6种方法获取文件的扩展名 IT独行者 PHP扩展名
      PHP：6种方法获取文件的扩展名   1、字符串查找和截取的方法   1 $extension = substr ( strrchr ( $file ,  '.' ), 1); 2、字符串查找和截取的方法二   1 $extension = substr
  • 面试111 文强chu 面试
    1事务隔离级别有那些 ，事务特性是什么（问到一次） 2 spring aop 如何管理事务的，如何实现的。动态代理如何实现，jdk怎么实现动态代理的，ioc是怎么实现的，spring是单例还是多例，有那些初始化bean的方式，各有什么区别（经常问） 3 struts默认提供了那些拦截器 （一次） 4 过滤器和拦截器的区别 （频率也挺高） 5 final，finally final
  • XML的四种解析方式 小桔子 domjdomdom4jsax
    在平时工作中，难免会遇到把 XML 作为数据存储格式。面对目前种类繁多的解决方案，哪个最适合我们呢？在这篇文章中，我对这四种主流方案做一个不完全评测，仅仅针对遍历 XML 这块来测试，因为遍历 XML 是工作中使用最多的（至少我认为）。 　　预 备 　　测试环境： 　　AMD 毒龙1.4G OC 1.5G、256M DDR333、Windows2000 Server
  • wordpress中常见的操作 aichenglong 中文注册wordpress移除菜单
    1 wordpress中使用中文名注册解决办法   1)使用插件   2)修改wp源代码      进入到wp-include/formatting.php文件中找到       function sanitize_user( $username, $strict = false
  • 小飞飞学管理-1 alafqq 管理
    项目管理的下午题，其实就在提出问题（挑刺），分析问题，解决问题。 今天我随意看下10年上半年的第一题。主要就是项目经理的提拨和培养。 结合我自己经历写下心得 对于公司选拔和培养项目经理的制度有什么毛病呢？ 1，公司考察，选拔项目经理，只关注技术能力，而很少或没有关注管理方面的经验，能力。 2，公司对项目经理缺乏必要的项目管理知识和技能方面的培训。 3，公司对项目经理的工作缺乏进行指
  • IO输入输出部分探讨 百合不是茶 IO
     //文件处理  在处理文件输入输出时要引入java.IO这个包； /* 1，运用File类对文件目录和属性进行操作 2，理解流，理解输入输出流的概念 3，使用字节/符流对文件进行读/写操作 4，了解标准的I/O 5，了解对象序列化 */   //1，运用File类对文件目录和属性进行操作   //在工程中线创建一个text.txt
  • getElementById的用法 bijian1013 element
            getElementById是通过Id来设置/返回HTML标签的属性及调用其事件与方法。用这个方法基本上可以控制页面所有标签，条件很简单，就是给每个标签分配一个ID号。        返回具有指定ID属性值的第一个对象的一个引用。        语法： &n
  • 励志经典语录 bijian1013 励志人生
    经典语录1:   哈佛有一个著名的理论：人的差别在于业余时间，而一个人的命运决定于晚上8点到10点之间。每晚抽出2个小时的时间用来阅读、进修、思考或参加有意的演讲、讨论，你会发现，你的人生正在发生改变，坚持数年之后，成功会向你招手。不要每天抱着QQ/MSN/游戏/电影/肥皂剧……奋斗到12点都舍不得休息，看就看一些励志的影视或者文章，不要当作消遣；学会思考人生，学会感悟人生
  • [MongoDB学习笔记三]MongoDB分片 bit1129 mongodb
    MongoDB的副本集(Replica Set)一方面解决了数据的备份和数据的可靠性问题，另一方面也提升了数据的读写性能。MongoDB分片(Sharding)则解决了数据的扩容问题，MongoDB作为云计算时代的分布式数据库，大容量数据存储，高效并发的数据存取，自动容错等是MongoDB的关键指标。 本篇介绍MongoDB的切片(Sharding)   1.何时需要分片 &nbs
  • 【Spark八十三】BlockManager在Spark中的使用场景 bit1129 manager
    1. Broadcast变量的存储，在HttpBroadcast类中可以知道 2. RDD通过CacheManager存储RDD中的数据，CacheManager也是通过BlockManager进行存储的 3. ShuffleMapTask得到的结果数据，是通过FileShuffleBlockManager进行管理的，而FileShuffleBlockManager最终也是使用BlockMan
  • yum方式部署zabbix ronin47 yum方式部署zabbix
    安装网络yum库#rpm -ivh http://repo.zabbix.com/zabbix/2.4/rhel/6/x86_64/zabbix-release-2.4-1.el6.noarch.rpm 通过yum装mysql和zabbix调用的插件还有agent代理#yum install zabbix-server-mysql zabbix-web-mysql mysql-
  • Hibernate4和MySQL5.5自动创建表失败问题解决方法 byalias J2EEHibernate4
    今天初学Hibernate4，了解了使用Hibernate的过程。大体分为4个步骤： ①创建hibernate.cfg.xml文件 ②创建持久化对象 ③创建*.hbm.xml映射文件 ④编写hibernate相应代码 在第四步中，进行了单元测试，测试预期结果是hibernate自动帮助在数据库中创建数据表，结果JUnit单元测试没有问题，在控制台打印了创建数据表的SQL语句，但在数据库中
  • Netty源码学习-FrameDecoder bylijinnan javanetty
    Netty 3.x的user guide里FrameDecoder的例子，有几个疑问： 1.文档说：FrameDecoder calls decode method with an internally maintained cumulative buffer whenever new data is received. 为什么每次有新数据到达时，都会调用decode方法？ 2.Dec
  • SQL行列转换方法 chicony 行列转换
    create table tb(终端名称 varchar(10) , CEI分值 varchar(10) , 终端数量 int) insert into tb values('三星' , '0-5' , 74) insert into tb values('三星' , '10-15' , 83) insert into tb values('苹果' , '0-5' , 93)
  • 中文编码测试 ctrain 编码
    循环打印转换编码 String[] codes = { "iso-8859-1", "utf-8", "gbk", "unicode" }; for (int i = 0; i < codes.length; i++) { for (int j
  • hive 客户端查询报堆内存溢出解决方法 daizj hive堆内存溢出
    hive> select * from t_test where ds=20150323 limit 2; OK Exception in thread "main" java.lang.OutOfMemoryError: Java heap space   问题原因： hive堆内存默认为256M   这个问题的解决方法为： 修改/us
  • 人有多大懒，才有多大闲 (评论『卓有成效的程序员』) dcj3sjt126com 程序员
      卓有成效的程序员给我的震撼很大，程序员作为特殊的群体，有的人可以这么懒，  懒到事情都交给机器去做 ，而有的人又可以那么勤奋，每天都孜孜不倦得做着重复单调的工作。   在看这本书之前，我属于勤奋的人，而看完这本书以后，我要努力变成懒惰的人。 不要在去庞大的开始菜单里面一项一项搜索自己的应用程序，也不要在自己的桌面上放置眼花缭乱的快捷图标
  • Eclipse简单有用的配置 dcj3sjt126com eclipse
    1、显示行号  Window -- Prefences -- General -- Editors -- Text Editors -- show line numbers   2、代码提示字符 Window ->Perferences，并依次展开 Java -> Editor -> Content Assist，最下面一栏 auto-Activation
  • 在tomcat上面安装solr4.8.0全过程 eksliang Solrsolr4.0后的版本安装solr4.8.0安装
    转载请出自出处： http://eksliang.iteye.com/blog/2096478       首先solr是一个基于java的web的应用，所以安装solr之前必须先安装JDK和tomcat，我这里就先省略安装tomcat和jdk了         第一步：当然是下载去官网上下载最新的solr版本，下载地址
  • Android APP通用型拒绝服务、漏洞分析报告 gg163 漏洞androidAPP分析
    点评：记得曾经有段时间很多SRC平台被刷了大量APP本地拒绝服务漏洞，移动安全团队爱内测（ineice.com）发现了一个安卓客户端的通用型拒绝服务漏洞，来看看他们的详细分析吧。  0xr0ot和Xbalien交流所有可能导致应用拒绝服务的异常类型时，发现了一处通用的本地拒绝服务漏洞。该通用型本地拒绝服务可以造成大面积的app拒绝服务。  针对序列化对象而出现的拒绝服务主要
  • HoverTree项目已经实现分层 hvt 编程.netWebC#ASP.ENT
    HoverTree项目已经初步实现分层，源代码已经上传到 http://hovertree.codeplex.com请到SOURCE CODE查看。在本地用SQL Server 2008 数据库测试成功。数据库和表请参考：http://keleyi.com/a/bjae/ue6stb42.htmHoverTree是一个ASP.NET 开源项目，希望对你学习ASP.NET或者C#语言有帮助，如果你对
  • Google Maps API v3: Remove Markers 移除标记 天梯梦 google maps api
    Simply do the following:   I. Declare a global variable: var markersArray = [];   II. Define a function: function clearOverlays() { for (var i = 0; i < markersArray.length; i++ )
  • jQuery选择器总结 lq38366 jquery选择器
      1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40
  • 基础数据结构和算法六：Quick sort sunwinner AlgorithmQuicksort
    Quick sort is probably used more widely than any other. It is popular because it is not difficult to implement, works well for a variety of different kinds of input data, and is substantially faster t
  • 如何让Flash不遮挡HTML div元素的技巧_HTML/Xhtml_网页制作 刘星宇 htmlWeb
    今天在写一个flash广告代码的时候，因为flash自带的链接，容易被当成弹出广告，所以做了一个div层放到flash上面，这样链接都是a触发的不会被拦截，但发现flash一直处于div层上面，原来flash需要加个参数才可以。 让flash置于DIV层之下的方法，让flash不挡住飘浮层或下拉菜单，让Flash不档住浮动对象或层的关键参数：wmode=opaque。 方法如下：
  • Mybatis实用Mapper SQL汇总示例 wdmcygah sqlmysqlmybatis实用
    Mybatis作为一个非常好用的持久层框架，相关资料真的是少得可怜，所幸的是官方文档还算详细。本博文主要列举一些个人感觉比较常用的场景及相应的Mapper SQL写法，希望能够对大家有所帮助。 不少持久层框架对动态SQL的支持不足，在SQL需要动态拼接时非常苦恼，而Mybatis很好地解决了这个问题，算是框架的一大亮点。对于常见的场景，例如：批量插入/更新/删除，模糊查询，多条件查询，联表查询，
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他