daizj
daizj

Hive分析窗口函数 LAG,LEAD,FIRST_VALUE,LAST_VALUE

问题导读

1.LAG功能是什么？
2.LEAD与LAG功能有什么相似的地方那个？
3.FIRST_VALUE与LAST_VALUE分别完成什么功能？





接上篇Hive分析窗口函数(二、三) NTILE,ROW_NUMBER,RANK,DENSE_RANK

继续学习这四个分析函数。
注意： 这几个函数不支持WINDOW子句。（什么是WINDOW子句， Hive分析窗口函数（一）SUM,AVG,MIN,MAx）

Hive版本为 apache-hive-0.13.1
数据准备：

  1. cookie1,2015-04-10 10:00:02,url2
  2. cookie1,2015-04-10 10:00:00,url1
  3. cookie1,2015-04-10 10:03:04,1url3
  4. cookie1,2015-04-10 10:50:05,url6
  5. cookie1,2015-04-10 11:00:00,url7
  6. cookie1,2015-04-10 10:10:00,url4
  7. cookie1,2015-04-10 10:50:01,url5
  8. cookie2,2015-04-10 10:00:02,url22
  9. cookie2,2015-04-10 10:00:00,url11
  10. cookie2,2015-04-10 10:03:04,1url33
  11. cookie2,2015-04-10 10:50:05,url66
  12. cookie2,2015-04-10 11:00:00,url77
  13. cookie2,2015-04-10 10:10:00,url44
  14. cookie2,2015-04-10 10:50:01,url55
  15. CREATE EXTERNAL TABLE lxw1234 (
  16. cookieid string,
  17. createtime string,  --页面访问时间
  18. url STRING       --被访问页面
  19. ) ROW FORMAT DELIMITED 
  20. FIELDS TERMINATED BY ',' 
  21. stored as textfile location '/tmp/lxw11/';
  22. hive> select * from lxw1234;
  23. OK
  24. cookie1 2015-04-10 10:00:02     url2
  25. cookie1 2015-04-10 10:00:00     url1
  26. cookie1 2015-04-10 10:03:04     1url3
  27. cookie1 2015-04-10 10:50:05     url6
  28. cookie1 2015-04-10 11:00:00     url7
  29. cookie1 2015-04-10 10:10:00     url4
  30. cookie1 2015-04-10 10:50:01     url5
  31. cookie2 2015-04-10 10:00:02     url22
  32. cookie2 2015-04-10 10:00:00     url11
  33. cookie2 2015-04-10 10:03:04     1url33
  34. cookie2 2015-04-10 10:50:05     url66
  35. cookie2 2015-04-10 11:00:00     url77
  36. cookie2 2015-04-10 10:10:00     url44
  37. cookie2 2015-04-10 10:50:01     url55
复制代码




LAG

LAG(col,n,DEFAULT) 用于统计窗口内往上第n行值
第一个参数为列名，第二个参数为往上第n行（可选，默认为1），第三个参数为默认值（当往上第n行为NULL时候，取默认值，如不指定，则为NULL）

  1. SELECT cookieid,
  2. createtime,
  3. url,
  4. ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY createtime) AS rn,
  5. LAG(createtime,1,'1970-01-01 00:00:00') OVER(PARTITION BY cookieid ORDER BY createtime) AS last_1_time,
  6. LAG(createtime,2) OVER(PARTITION BY cookieid ORDER BY createtime) AS last_2_time 
  7. FROM lxw1234;
  8. cookieid createtime             url    rn       last_1_time             last_2_time
  9. -------------------------------------------------------------------------------------------
  10. cookie1 2015-04-10 10:00:00     url1    1       1970-01-01 00:00:00     NULL
  11. cookie1 2015-04-10 10:00:02     url2    2       2015-04-10 10:00:00     NULL
  12. cookie1 2015-04-10 10:03:04     1url3   3       2015-04-10 10:00:02     2015-04-10 10:00:00
  13. cookie1 2015-04-10 10:10:00     url4    4       2015-04-10 10:03:04     2015-04-10 10:00:02
  14. cookie1 2015-04-10 10:50:01     url5    5       2015-04-10 10:10:00     2015-04-10 10:03:04
  15. cookie1 2015-04-10 10:50:05     url6    6       2015-04-10 10:50:01     2015-04-10 10:10:00
  16. cookie1 2015-04-10 11:00:00     url7    7       2015-04-10 10:50:05     2015-04-10 10:50:01
  17. cookie2 2015-04-10 10:00:00     url11   1       1970-01-01 00:00:00     NULL
  18. cookie2 2015-04-10 10:00:02     url22   2       2015-04-10 10:00:00     NULL
  19. cookie2 2015-04-10 10:03:04     1url33  3       2015-04-10 10:00:02     2015-04-10 10:00:00
  20. cookie2 2015-04-10 10:10:00     url44   4       2015-04-10 10:03:04     2015-04-10 10:00:02
  21. cookie2 2015-04-10 10:50:01     url55   5       2015-04-10 10:10:00     2015-04-10 10:03:04
  22. cookie2 2015-04-10 10:50:05     url66   6       2015-04-10 10:50:01     2015-04-10 10:10:00
  23. cookie2 2015-04-10 11:00:00     url77   7       2015-04-10 10:50:05     2015-04-10 10:50:01
  24. last_1_time: 指定了往上第1行的值，default为'1970-01-01 00:00:00'  
  25.              cookie1第一行，往上1行为NULL,因此取默认值 1970-01-01 00:00:00
  26.              cookie1第三行，往上1行值为第二行值，2015-04-10 10:00:02
  27.              cookie1第六行，往上1行值为第五行值，2015-04-10 10:50:01
  28. last_2_time: 指定了往上第2行的值，为指定默认值
  29.                                                  cookie1第一行，往上2行为NULL
  30.                                                  cookie1第二行，往上2行为NULL
  31.                                                  cookie1第四行，往上2行为第二行值，2015-04-10 10:00:02
  32.                                                  cookie1第七行，往上2行为第五行值，2015-04-10 10:50:01
复制代码


LEAD

与LAG相反
LEAD(col,n,DEFAULT) 用于统计窗口内往下第n行值
第一个参数为列名，第二个参数为往下第n行（可选，默认为1），第三个参数为默认值（当往下第n行为NULL时候，取默认值，如不指定，则为NULL）

  1. SELECT cookieid,
  2. createtime,
  3. url,
  4. ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY createtime) AS rn,
  5. LEAD(createtime,1,'1970-01-01 00:00:00') OVER(PARTITION BY cookieid ORDER BY createtime) AS next_1_time,
  6. LEAD(createtime,2) OVER(PARTITION BY cookieid ORDER BY createtime) AS next_2_time 
  7. FROM lxw1234;
  8. cookieid createtime             url    rn       next_1_time             next_2_time 
  9. -------------------------------------------------------------------------------------------
  10. cookie1 2015-04-10 10:00:00     url1    1       2015-04-10 10:00:02     2015-04-10 10:03:04
  11. cookie1 2015-04-10 10:00:02     url2    2       2015-04-10 10:03:04     2015-04-10 10:10:00
  12. cookie1 2015-04-10 10:03:04     1url3   3       2015-04-10 10:10:00     2015-04-10 10:50:01
  13. cookie1 2015-04-10 10:10:00     url4    4       2015-04-10 10:50:01     2015-04-10 10:50:05
  14. cookie1 2015-04-10 10:50:01     url5    5       2015-04-10 10:50:05     2015-04-10 11:00:00
  15. cookie1 2015-04-10 10:50:05     url6    6       2015-04-10 11:00:00     NULL
  16. cookie1 2015-04-10 11:00:00     url7    7       1970-01-01 00:00:00     NULL
  17. cookie2 2015-04-10 10:00:00     url11   1       2015-04-10 10:00:02     2015-04-10 10:03:04
  18. cookie2 2015-04-10 10:00:02     url22   2       2015-04-10 10:03:04     2015-04-10 10:10:00
  19. cookie2 2015-04-10 10:03:04     1url33  3       2015-04-10 10:10:00     2015-04-10 10:50:01
  20. cookie2 2015-04-10 10:10:00     url44   4       2015-04-10 10:50:01     2015-04-10 10:50:05
  21. cookie2 2015-04-10 10:50:01     url55   5       2015-04-10 10:50:05     2015-04-10 11:00:00
  22. cookie2 2015-04-10 10:50:05     url66   6       2015-04-10 11:00:00     NULL
  23. cookie2 2015-04-10 11:00:00     url77   7       1970-01-01 00:00:00     NULL
  24. --逻辑与LAG一样，只不过LAG是往上，LEAD是往下。
复制代码



FIRST_VALUE

取分组内排序后，截止到当前行，第一个值

  1. SELECT cookieid,
  2. createtime,
  3. url,
  4. ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY createtime) AS rn,
  5. FIRST_VALUE(url) OVER(PARTITION BY cookieid ORDER BY createtime) AS first1 
  6. FROM lxw1234;
  7. cookieid  createtime            url     rn      first1
  8. ---------------------------------------------------------
  9. cookie1 2015-04-10 10:00:00     url1    1       url1
  10. cookie1 2015-04-10 10:00:02     url2    2       url1
  11. cookie1 2015-04-10 10:03:04     1url3   3       url1
  12. cookie1 2015-04-10 10:10:00     url4    4       url1
  13. cookie1 2015-04-10 10:50:01     url5    5       url1
  14. cookie1 2015-04-10 10:50:05     url6    6       url1
  15. cookie1 2015-04-10 11:00:00     url7    7       url1
  16. cookie2 2015-04-10 10:00:00     url11   1       url11
  17. cookie2 2015-04-10 10:00:02     url22   2       url11
  18. cookie2 2015-04-10 10:03:04     1url33  3       url11
  19. cookie2 2015-04-10 10:10:00     url44   4       url11
  20. cookie2 2015-04-10 10:50:01     url55   5       url11
  21. cookie2 2015-04-10 10:50:05     url66   6       url11
  22. cookie2 2015-04-10 11:00:00     url77   7       url11
复制代码


LAST_VALUE

取分组内排序后，截止到当前行，最后一个值

  1. SELECT cookieid,
  2. createtime,
  3. url,
  4. ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY createtime) AS rn,
  5. LAST_VALUE(url) OVER(PARTITION BY cookieid ORDER BY createtime) AS last1 
  6. FROM lxw1234;
  7. cookieid  createtime            url    rn       last1  
  8. -----------------------------------------------------------------
  9. cookie1 2015-04-10 10:00:00     url1    1       url1
  10. cookie1 2015-04-10 10:00:02     url2    2       url2
  11. cookie1 2015-04-10 10:03:04     1url3   3       1url3
  12. cookie1 2015-04-10 10:10:00     url4    4       url4
  13. cookie1 2015-04-10 10:50:01     url5    5       url5
  14. cookie1 2015-04-10 10:50:05     url6    6       url6
  15. cookie1 2015-04-10 11:00:00     url7    7       url7
  16. cookie2 2015-04-10 10:00:00     url11   1       url11
  17. cookie2 2015-04-10 10:00:02     url22   2       url22
  18. cookie2 2015-04-10 10:03:04     1url33  3       1url33
  19. cookie2 2015-04-10 10:10:00     url44   4       url44
  20. cookie2 2015-04-10 10:50:01     url55   5       url55
  21. cookie2 2015-04-10 10:50:05     url66   6       url66
  22. cookie2 2015-04-10 11:00:00     url77   7       url77
复制代码

如果不指定ORDER BY，则默认按照记录在文件中的偏移量进行排序，会出现错误的结果
  1. SELECT cookieid,
  2. createtime,
  3. url,
  4. FIRST_VALUE(url) OVER(PARTITION BY cookieid) AS first2  
  5. FROM lxw1234;
  6. cookieid  createtime            url     first2
  7. ----------------------------------------------
  8. cookie1 2015-04-10 10:00:02     url2    url2
  9. cookie1 2015-04-10 10:00:00     url1    url2
  10. cookie1 2015-04-10 10:03:04     1url3   url2
  11. cookie1 2015-04-10 10:50:05     url6    url2
  12. cookie1 2015-04-10 11:00:00     url7    url2
  13. cookie1 2015-04-10 10:10:00     url4    url2
  14. cookie1 2015-04-10 10:50:01     url5    url2
  15. cookie2 2015-04-10 10:00:02     url22   url22
  16. cookie2 2015-04-10 10:00:00     url11   url22
  17. cookie2 2015-04-10 10:03:04     1url33  url22
  18. cookie2 2015-04-10 10:50:05     url66   url22
  19. cookie2 2015-04-10 11:00:00     url77   url22
  20. cookie2 2015-04-10 10:10:00     url44   url22
  21. cookie2 2015-04-10 10:50:01     url55   url22
  22. SELECT cookieid,
  23. createtime,
  24. url,
  25. LAST_VALUE(url) OVER(PARTITION BY cookieid) AS last2  
  26. FROM lxw1234;
  27. cookieid  createtime            url     last2
  28. ----------------------------------------------
  29. cookie1 2015-04-10 10:00:02     url2    url5
  30. cookie1 2015-04-10 10:00:00     url1    url5
  31. cookie1 2015-04-10 10:03:04     1url3   url5
  32. cookie1 2015-04-10 10:50:05     url6    url5
  33. cookie1 2015-04-10 11:00:00     url7    url5
  34. cookie1 2015-04-10 10:10:00     url4    url5
  35. cookie1 2015-04-10 10:50:01     url5    url5
  36. cookie2 2015-04-10 10:00:02     url22   url55
  37. cookie2 2015-04-10 10:00:00     url11   url55
  38. cookie2 2015-04-10 10:03:04     1url33  url55
  39. cookie2 2015-04-10 10:50:05     url66   url55
  40. cookie2 2015-04-10 11:00:00     url77   url55
  41. cookie2 2015-04-10 10:10:00     url44   url55
  42. cookie2 2015-04-10 10:50:01     url55   url55
复制代码

如果想要取分组内排序后最后一个值，则需要变通一下：
  1. SELECT cookieid,
  2. createtime,
  3. url,
  4. ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY createtime) AS rn,
  5. LAST_VALUE(url) OVER(PARTITION BY cookieid ORDER BY createtime) AS last1,
  6. FIRST_VALUE(url) OVER(PARTITION BY cookieid ORDER BY createtime DESC) AS last2 
  7. FROM lxw1234 
  8. ORDER BY cookieid,createtime;
  9. cookieid  createtime            url     rn     last1    last2
  10. -------------------------------------------------------------
  11. cookie1 2015-04-10 10:00:00     url1    1       url1    url7
  12. cookie1 2015-04-10 10:00:02     url2    2       url2    url7
  13. cookie1 2015-04-10 10:03:04     1url3   3       1url3   url7
  14. cookie1 2015-04-10 10:10:00     url4    4       url4    url7
  15. cookie1 2015-04-10 10:50:01     url5    5       url5    url7
  16. cookie1 2015-04-10 10:50:05     url6    6       url6    url7
  17. cookie1 2015-04-10 11:00:00     url7    7       url7    url7
  18. cookie2 2015-04-10 10:00:00     url11   1       url11   url77
  19. cookie2 2015-04-10 10:00:02     url22   2       url22   url77
  20. cookie2 2015-04-10 10:03:04     1url33  3       1url33  url77
  21. cookie2 2015-04-10 10:10:00     url44   4       url44   url77
  22. cookie2 2015-04-10 10:50:01     url55   5       url55   url77
  23. cookie2 2015-04-10 10:50:05     url66   6       url66   url77
  24. cookie2 2015-04-10 11:00:00     url77   7       url77   url77
复制代码


提示：在使用分析函数的过程中，要特别注意ORDER BY子句，用的不恰当，统计出的结果就不是你所期望的

 

 

本文转自：http://www.aboutyun.com/thread-12848-1-1.html

你可能感兴趣的:(hive,FIRST_VALUE,lag,lead,last_value)

  • 备考六级：积累词汇量（day1） 无敌大饺子 1 职场和发展
    aspect:n方面suspectv.怀疑n.嫌疑人susceptibleadj:易受影响的，敏感的respectv尊敬尊重repective各自的分别的egweshouldrespectourrepectiveaspect;spectacular壮丽的，壮观的spectaclen.壮丽的景象prosperousadj:繁荣的spectrumn.光谱conspciousadj.显著的，显然的des
  • Hive的内置函数 不爱学习的小枫 大数据hive数据仓库大数据
    HIVE除了提供了类似mysql的sql的语法外，还提供了大量内置的函数，方便开发者来调用，编写功能丰富的处理程序。使用如下命令查看当前hive版本支持的所有内置函数。showfunctions;显示函数的描述信息：DESCFUNCTIONconcat;显示函数的扩展描述信息：DESCFUNCTIONEXTENDEDconcat;下面我们对其中重要的，使用频率高的函数使用进行详细讲解。1字符串函数
  • I/O函数 物随心转 嵌入式开发java前端javascript
    一、open/close#include#include#includeintopen(constchar*path,intoflag,.../*mode_tmode*/);intopenat(intfd,constchar*path,intoflag,.../*mode_tmode*/);pathname参数是要打开或创建的文件名，和fopen一样，pathname既可以是相对路径也可以是绝对路
  • hive之leg函数 三生暮雨渡瀟瀟 hivehive
    从博客上发现两个面试题，其中有个用到了lag函数。整理学习LAG函数是Hive中常用的窗口函数，用于访问同一分区内前一行（或前N行）的数据。它在分析时间序列数据、计算相邻记录差异等场景中非常有用。一、语法LAG(column,offset,default)OVER(PARTITIONBYpartition_expressionORDERBYsort_expression[ASC|DESC])col
  • 使用DataX将ClickHouse数据导入Hive MYH516 clickhousehivehadoop
    在将ClickHouse数据导入Hive时，如果字段中包含回车符（\n）或换行符（\r），会导致Hive在读取数据时将其误认为是行分隔符，从而导致数据错列的问题。为了解决这个问题，可以采取以下方法：解决方法1：在ClickHouse中清洗数据在导出数据之前，先对ClickHouse表中的数据进行清洗，将回车符和换行符替换为其他字符（如空格或空字符串）。示例SQL：SELECTcol1,col2,r
  • hive开窗函数详解 WakeUpCcc hivehadoop数据仓库大数据
    1.OVER()：用于指定分析函数工作时的数据窗口大小，这个数据窗口大小可能会随着行的变而变化；2.CURRENTROW：当前行；nPRECEDING：往前n行数据；nFOLLOWING：往后n行数据；UNBOUNDED：起点，UNBOUNDEDPRECEDING表示从前面的起点，UNBOUNDEDFOLLOWING表示到后面的终点；LAG(col,n,default_val)：往前第n行数据；L
  • 大数据技术学习框架（更新中......） 小技工丨 大数据技术学习大数据学习
    Hadoop相关HDFS分布式文件系统MR(MapReduce)离线数据处理MR-图解YARN集群资源管理ZooKeeperZooKeeper分布式协调框架Hive相关Hive-01之数仓、架构、数据类型、DDL、内外部表Hive-02之分桶表、数据导入导出、静动态分区、查询、排序、hiveserver2Hive-03之传参、常用函数、explode、lateralview、行专列、列转行、UDF
  • 构造一个工具（TravelSQLAgentTool），利用大语言模型（例如 Llama 模型）来完成 SQL 查询代理工具 背太阳的牧羊人 agent+langchain语言模型llamasql人工智能langchainagentlangchain工具
    完整代码：fromlangchain_core.toolsimporttoolfromlangchain_community.utilitiesimportSQLDatabasefromlangchain_core.promptsimportPromptTemplatefromlangchain_core.output_parsersimportStrOutputParserfromlangcha
  • 前端项目中脚本文件打包，vscode中如何正确使用gtar命令 今天吃了嘛o 前端vscodeide
    1、下载gtarhttps://gnuwin32.sourceforge.net/packages/libarchive.htm2、傻瓜式安装一路下一步即可。3、配置环境变量高级系统设置”在弹出的“系统属性”窗口中，点击“环境变量”。在“系统变量”列表中找到“Path”变量，点击“编辑”。点击“新建”，将gtar可执行文件所在的目录路径（例如C:\ProgramFiles(x86)\GnuWin3
  • win11编译pytorchvision cuda128版本流程 System_sleep pytorchpython编译windowscuda
    1.前置条件本篇续接自win11编译pytorchcuda128版本流程，阅读前请先参考上一篇配置环境。访问https://kkgithub.com/pytorch/vision/archive/refs/tags/v0.21.0.tar.gz下载源码，下载后解压。2.编译打开MiniforgePrompt，依次执行如下代码：condaactivatetorch_build_envcondains
  • 网络编程中的数据传输函数 C嘎嘎嵌入式开发 网络服务器linuxc++
    虽然send、recv、sendmsg和recvmsg都是用于在网络编程中进行数据传输的函数。但是它们各自的功能和应用场景有所不同send和recvsend功能：send用于将数据发送到连接的套接字。原型ssize_tsend(intsockfd,constvoid*buf,size_tlen,intflags);参数sockfd：套接字文件描述符。buf：指向要发送的数据的缓冲区。len：要发送
  • ‌Tomcat 8.0.12安装流程 小魚資源大雜燴 tomcatjavalinux
    需要确保系统已经安装了JavaDevelopmentKit(JDK)7或更高版本。可以通过以下命令检查Java是否安装以及版本信息：shjava-version如果未安装Java，需要先下载并安装适合你操作系统的JDK。Windows系统安装流程步骤1：下载Tomcat8.0.12打开浏览器，访问ApacheTomcat的存档页面：https://archive.apache.org/dist/t
  • 京东Hive SQL面试题实战：APP路径分析场景解析与幽默生存指南 数据大包哥 #大厂SQL面试指南hivesqlhadoop
    京东HiveSQL面试题实战：APP路径分析场景解析与幽默生存指南“数据开发工程师的终极浪漫，就是把用户路径写成诗——用HiveSQL押韵。”——某不愿透露姓名的SQL诗人一、题目背景：来自京东的真实需求假设你是京东APP的数据工程师，现在需要分析用户在APP中的访问路径特征。原始日志表user_behavior结构如下：字段名类型说明user_idBIGINT用户ID（脱敏）session_id
  • Flink的架构体系 GDDGHS_ flink架构大数据
    Flink中的重要角⾊JobManager处理器JobManager处理器也称之为Master，用于协调分布式执行，它们用来调度task，协调检查点，协调失败时恢复等。Flink运行时至少存在一个master处理器，如果配置高可用模式则会存在多个master处理器，它们其中有一个是leader，而其他的都是standby。TaskManager处理器TaskManager处理器也称之为Worker
  • 【Apache Paimon】-- 13 -- 利用 paimon-flink-action 同步 mysql 表数据 oo寻梦in记 ApachePaimonapacheflinkmysqlapachepaimon
    利用PaimonSchemaEvolution核心特性同步变更的mysql表结构和数据1、背景信息在Paimon诞生以前，若mysql/pg等数据源的表结构发生变化时，我们有几种处理方式（1）人工通知（比如常规的使用邮件），然后运维人员手动同步到数据仓库中（2）使用flink消费DDLbinlog，然后自动更新Hive的外部表和内部表schema那么现在，有了Paimon，我们可以利用其特性，自动
  • jdbc连接数据库步骤oracle,jdbc连接oracle数据库的步骤 weixin_39726044
    使用E-MapReduce集群sqoop组件同步云外Oracle数据库数据到集群hiveE-MapReduce集群sqoop组件可以同步数据库的数据到集群里，不同的数据库源网络配置有一些差异网络配置。最常用的场景是从rdsmysql同步数据，最近也有用户询问如何同步云外专有Oracle数据库数据到hive。云外专有数据库需要集群所有节点通过公网访问，要创建VPC网络，使用VPC网络...文章鸿初2
  • nuxt常用组件库html-validator应用解析 垣宇 vue.js
    html-validator主要用于自动验证nuxt服务器呈现的HTML(SSR和SSG)，以检测可能导致水合错误的HTML常见问题，有助于减少水合错误，检测常见的可访问性错误。安装npxnuxi@latestmoduleaddhtml-validator配置若自动更新nuxt.config.ts配置文件失败，可手动添加下面代码:nuxt3defineNuxtConfig({modules:['@
  • kafka-leader -1问题解决 xiao-xiang kafkakafka
    一.问题：在Kafka中，leader-1通常表示分区的领导者副本尚未被选举出来，或者在获取领导者信息时出现了问题。以下是可能导致出现kafkaleader-1的一些常见原因及相关分析：1.副本同步问题：在Kafka集群中，每个分区都有多个副本，包括一个领导者副本和多个追随者副本。当新的分区创建或者集群发生某些变化时，副本之间需要进行数据同步和领导者选举。如果副本之间的数据同步不及时或出现故障，可
  • Python爬虫（2）正则表达式 DO_Lee python爬虫正则表达式
    re包1.函数1）re.match(pattern,string,flags=0)如果string开头的零个或多个字符与正则表达式pattern匹配，则返回相应的Match。如果字符串与模式不匹配则返回None；请注意这与零长度匹配是不同的。表达式的行为可通过指定flags值来修改。importrestr_1='abcd'str_2='abcdabcd'str_3='dcab'res_1=re.m
  • Anaconda配置tensorflow-gpu教程 rubisco214 tensorflow人工智能python
    最近在入门tensorflow深度学习，配置环境吃了不少苦头，写个完整的教程首先得在自己主机上装cuda（我之前就是主机上没装cuda,只在虚拟环境里面装了，结果jupyter里面怎么调都识别不到GPU）打开Nvidia控制面板，左上角帮助-系统信息-组件NVCUDA64.DLL后面的NVIDIACUDA12.1就是你的显卡支持的CUDA版本，去CUDA官网CUDAToolkitArchive|N
  • linux压缩解压文件夹命令 zip unzip 和 tar luoluosheng07 linuxlinux运维服务器
    1.zip和unzip（处理.zip文件）压缩文件夹zip-r压缩包名.zip文件夹名-r:递归压缩子目录内容。示例：zip-rmyarchive.zipmydir解压文件unzip压缩包名.zip-d目标目录-d:指定解压目录（默认当前目录）。示例：unzipmyarchive.zip-d/path/to/extract查看压缩包内容unzip-l压缩包名.zip2.tar（处理.tar、.ta
  • 【kafka】Kafka leader -1 九师兄 kafkaleader-1isrnone
    文章目录1.概述2.问题现象3.解决方案4.题外话5.威胁案例6.正解1.概述转载：https://blog.csdn.net/u013933879/article/details/90055546参考：Kafka无法消费！？究竟是bug的“沦陷”还是配置的“扭曲”？2.问题现象在只有一个副本时，出现了broker节点丢失，因此导致了leader-1的情况3.解决方案直接修改zookeeper中该
  • Leader总是-1，怎么解决？ jasen91 kafka大数据
    通常情况下就是Controller不工作了，导致无法分配leader，那既然知道问题后，解决方案也就很简单了。重启Controller节点上的Kafka进程，让其他节点重新注册Controller角色，但是如上面ZooKeeper的作用你要知道为什么Controller可以自动注册。当然了，当你知道controller的注册机制后，你也可以说：删除ZooKeeper节点/controller，触发
  • 文本操作基础知识：正则表达式 时之彼岸Φ 基础知识正则表达式
    目录摘要：一、语法二、匹配模式pattern1、普通字符[]2、限定字符3、定位字符4、运算字符()三、修饰符flags四、各语言的正则使用1、Python的re参考资料：摘要：常用匹配：[A-C]、[^A-C]、\w、\d、\n、\r、\t、*、+、?、｛n,m｝。python的re.findall函数一、语法/pattern/flagspattern：表示匹配模式，需要匹配的具体内容。flag
  • python 一小时 教程 wsf_123456 pythonPython编程CC#C++
    1序言面向读者本文适合有经验的程序员尽快进入Python2.x世界.特别地,如果你掌握Java和Javascript,不用1小时你就可以用Python快速流畅地写有用的Python程序.Python3.x用户请参考:http://www.cnitblog.com/yunshichen/archive/2009/04/01/55924.html(由于Django不支持python3,所以为了你的发展
  • HIVE 面试题总结 小余真旺财 Hivehive
    Hive依赖于HDFS存储数据，Hive将HQL转换成MapReduce执行，所以说Hive是基于Hadoop的一个数据仓库工具，实质就是一款基于HDFS的MapReduce计算框架，对存储在HDFS中的数据进行分析和管理。一、Hive架构用户接口：CLI（hiveshell）、JDBC/ODBC(java访问hive)、WEBUI（浏览器访问hive）元数据：元数据包括：表名、表所属的数据库（默
  • Hive 面试题 昨夜为你摘星
    什么是Hive?Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的意义（最初研发的原因）?降低程序员使用Hadoop的难度，降低学习成本Hive的内部组成模块，作用
  • kafka-关于ISR-概述 xiao-xiang kafka分布式
    一.什么是ISR？Kafka中通常每个分区都有多个副本，其中一个副本被选举为Leader，其他副本为Follower。ISR是指与Leader副本保持同步的Follower副本集合。ISR机制的核心是确保数据在多个副本之间的一致性和可靠性，同时在Leader副本出现故障时能够快速进行故障转移，保证服务的可用性。二.ISR基本原理：1.数据同步过程：首先：生产者发送的消息首先会被leader副本接收
  • hivePB级迁移方案 我要用代码向我喜欢的女孩表白 数据库bigdata-大数据专栏hive
    1、评估磁盘空间大小、调整副本数、设置heapsize大小2、distcp-i-skipcrccheck源端到目标端，迁移3、元数据迁移，建表，替换location地址，或者导出db4、表分区修复5、配置增量T-1迁移或者T-26、校验历史分区脚本，表结构，大小，文件数7、根据ditcp不对的，进行补数脚本，删分区，重拉8、任务校验，客户跑完任务后，校验指定分区的count数和内容的md59、任务
  • Hive基本操作 小肥柴呀 ApacheHivehive数据库
    Hive基本操作1.Hive常用命令1.1Hive启动1.2Hive退出1.3Hive查看历史命令1.4Hive常用交互命令2.数据库基本操作2.1创建数据库2.2创建数据库并指定hdfs存储位置2.3删除空数据库2.4强制删除非空数据库2.5查看所有数据库2.6查看数据相关信息2.7数据库切换2.8修改数据库3.数据表基本操作3.1创建表3.1.1创建表的方式3.1.2创建内部表3.1.3创建外
  • Spring的注解积累 yijiesuifeng spring注解
    用注解来向Spring容器注册Bean。   需要在applicationContext.xml中注册： <context:component-scan base-package=”pagkage1[,pagkage2,…,pagkageN]”/>。 如：在base-package指明一个包    <context:component-sc
  • 传感器 百合不是茶 android传感器
    android传感器的作用主要就是来获取数据,根据得到的数据来触发某种事件   下面就以重力传感器为例;   1,在onCreate中获得传感器服务   private SensorManager sm;// 获得系统的服务 private Sensor sensor;// 创建传感器实例 @Override protected void
  • [光磁与探测]金吕玉衣的意义 comsci
          这是一个古代人的秘密:现在告诉大家       信不信由你们:       穿上金律玉衣的人,如果处于灵魂出窍的状态,可以飞到宇宙中去看星星       这就是为什么古代
  • 精简的反序打印某个数 沐刃青蛟 打印
    以前看到一些让求反序打印某个数的程序。 比如：输入123，输出321。   记得以前是告诉你是几位数的，当时就抓耳挠腮，完全没有思路。   似乎最后是用到%和/方法解决的。   而今突然想到一个简短的方法，就可以实现任意位数的反序打印（但是如果是首位数或者尾位数为0时就没有打印出来了）   代码如下： long num, num1=0;
  • PHP：6种方法获取文件的扩展名 IT独行者 PHP扩展名
      PHP：6种方法获取文件的扩展名   1、字符串查找和截取的方法   1 $extension = substr ( strrchr ( $file ,  '.' ), 1); 2、字符串查找和截取的方法二   1 $extension = substr
  • 面试111 文强chu 面试
    1事务隔离级别有那些 ，事务特性是什么（问到一次） 2 spring aop 如何管理事务的，如何实现的。动态代理如何实现，jdk怎么实现动态代理的，ioc是怎么实现的，spring是单例还是多例，有那些初始化bean的方式，各有什么区别（经常问） 3 struts默认提供了那些拦截器 （一次） 4 过滤器和拦截器的区别 （频率也挺高） 5 final，finally final
  • XML的四种解析方式 小桔子 domjdomdom4jsax
    在平时工作中，难免会遇到把 XML 作为数据存储格式。面对目前种类繁多的解决方案，哪个最适合我们呢？在这篇文章中，我对这四种主流方案做一个不完全评测，仅仅针对遍历 XML 这块来测试，因为遍历 XML 是工作中使用最多的（至少我认为）。 　　预 备 　　测试环境： 　　AMD 毒龙1.4G OC 1.5G、256M DDR333、Windows2000 Server
  • wordpress中常见的操作 aichenglong 中文注册wordpress移除菜单
    1 wordpress中使用中文名注册解决办法   1)使用插件   2)修改wp源代码      进入到wp-include/formatting.php文件中找到       function sanitize_user( $username, $strict = false
  • 小飞飞学管理-1 alafqq 管理
    项目管理的下午题，其实就在提出问题（挑刺），分析问题，解决问题。 今天我随意看下10年上半年的第一题。主要就是项目经理的提拨和培养。 结合我自己经历写下心得 对于公司选拔和培养项目经理的制度有什么毛病呢？ 1，公司考察，选拔项目经理，只关注技术能力，而很少或没有关注管理方面的经验，能力。 2，公司对项目经理缺乏必要的项目管理知识和技能方面的培训。 3，公司对项目经理的工作缺乏进行指
  • IO输入输出部分探讨 百合不是茶 IO
     //文件处理  在处理文件输入输出时要引入java.IO这个包； /* 1，运用File类对文件目录和属性进行操作 2，理解流，理解输入输出流的概念 3，使用字节/符流对文件进行读/写操作 4，了解标准的I/O 5，了解对象序列化 */   //1，运用File类对文件目录和属性进行操作   //在工程中线创建一个text.txt
  • getElementById的用法 bijian1013 element
            getElementById是通过Id来设置/返回HTML标签的属性及调用其事件与方法。用这个方法基本上可以控制页面所有标签，条件很简单，就是给每个标签分配一个ID号。        返回具有指定ID属性值的第一个对象的一个引用。        语法： &n
  • 励志经典语录 bijian1013 励志人生
    经典语录1:   哈佛有一个著名的理论：人的差别在于业余时间，而一个人的命运决定于晚上8点到10点之间。每晚抽出2个小时的时间用来阅读、进修、思考或参加有意的演讲、讨论，你会发现，你的人生正在发生改变，坚持数年之后，成功会向你招手。不要每天抱着QQ/MSN/游戏/电影/肥皂剧……奋斗到12点都舍不得休息，看就看一些励志的影视或者文章，不要当作消遣；学会思考人生，学会感悟人生
  • [MongoDB学习笔记三]MongoDB分片 bit1129 mongodb
    MongoDB的副本集(Replica Set)一方面解决了数据的备份和数据的可靠性问题，另一方面也提升了数据的读写性能。MongoDB分片(Sharding)则解决了数据的扩容问题，MongoDB作为云计算时代的分布式数据库，大容量数据存储，高效并发的数据存取，自动容错等是MongoDB的关键指标。 本篇介绍MongoDB的切片(Sharding)   1.何时需要分片 &nbs
  • 【Spark八十三】BlockManager在Spark中的使用场景 bit1129 manager
    1. Broadcast变量的存储，在HttpBroadcast类中可以知道 2. RDD通过CacheManager存储RDD中的数据，CacheManager也是通过BlockManager进行存储的 3. ShuffleMapTask得到的结果数据，是通过FileShuffleBlockManager进行管理的，而FileShuffleBlockManager最终也是使用BlockMan
  • yum方式部署zabbix ronin47 yum方式部署zabbix
    安装网络yum库#rpm -ivh http://repo.zabbix.com/zabbix/2.4/rhel/6/x86_64/zabbix-release-2.4-1.el6.noarch.rpm 通过yum装mysql和zabbix调用的插件还有agent代理#yum install zabbix-server-mysql zabbix-web-mysql mysql-
  • Hibernate4和MySQL5.5自动创建表失败问题解决方法 byalias J2EEHibernate4
    今天初学Hibernate4，了解了使用Hibernate的过程。大体分为4个步骤： ①创建hibernate.cfg.xml文件 ②创建持久化对象 ③创建*.hbm.xml映射文件 ④编写hibernate相应代码 在第四步中，进行了单元测试，测试预期结果是hibernate自动帮助在数据库中创建数据表，结果JUnit单元测试没有问题，在控制台打印了创建数据表的SQL语句，但在数据库中
  • Netty源码学习-FrameDecoder bylijinnan javanetty
    Netty 3.x的user guide里FrameDecoder的例子，有几个疑问： 1.文档说：FrameDecoder calls decode method with an internally maintained cumulative buffer whenever new data is received. 为什么每次有新数据到达时，都会调用decode方法？ 2.Dec
  • SQL行列转换方法 chicony 行列转换
    create table tb(终端名称 varchar(10) , CEI分值 varchar(10) , 终端数量 int) insert into tb values('三星' , '0-5' , 74) insert into tb values('三星' , '10-15' , 83) insert into tb values('苹果' , '0-5' , 93)
  • 中文编码测试 ctrain 编码
    循环打印转换编码 String[] codes = { "iso-8859-1", "utf-8", "gbk", "unicode" }; for (int i = 0; i < codes.length; i++) { for (int j
  • hive 客户端查询报堆内存溢出解决方法 daizj hive堆内存溢出
    hive> select * from t_test where ds=20150323 limit 2; OK Exception in thread "main" java.lang.OutOfMemoryError: Java heap space   问题原因： hive堆内存默认为256M   这个问题的解决方法为： 修改/us
  • 人有多大懒，才有多大闲 (评论『卓有成效的程序员』) dcj3sjt126com 程序员
      卓有成效的程序员给我的震撼很大，程序员作为特殊的群体，有的人可以这么懒，  懒到事情都交给机器去做 ，而有的人又可以那么勤奋，每天都孜孜不倦得做着重复单调的工作。   在看这本书之前，我属于勤奋的人，而看完这本书以后，我要努力变成懒惰的人。 不要在去庞大的开始菜单里面一项一项搜索自己的应用程序，也不要在自己的桌面上放置眼花缭乱的快捷图标
  • Eclipse简单有用的配置 dcj3sjt126com eclipse
    1、显示行号  Window -- Prefences -- General -- Editors -- Text Editors -- show line numbers   2、代码提示字符 Window ->Perferences，并依次展开 Java -> Editor -> Content Assist，最下面一栏 auto-Activation
  • 在tomcat上面安装solr4.8.0全过程 eksliang Solrsolr4.0后的版本安装solr4.8.0安装
    转载请出自出处： http://eksliang.iteye.com/blog/2096478       首先solr是一个基于java的web的应用，所以安装solr之前必须先安装JDK和tomcat，我这里就先省略安装tomcat和jdk了         第一步：当然是下载去官网上下载最新的solr版本，下载地址
  • Android APP通用型拒绝服务、漏洞分析报告 gg163 漏洞androidAPP分析
    点评：记得曾经有段时间很多SRC平台被刷了大量APP本地拒绝服务漏洞，移动安全团队爱内测（ineice.com）发现了一个安卓客户端的通用型拒绝服务漏洞，来看看他们的详细分析吧。  0xr0ot和Xbalien交流所有可能导致应用拒绝服务的异常类型时，发现了一处通用的本地拒绝服务漏洞。该通用型本地拒绝服务可以造成大面积的app拒绝服务。  针对序列化对象而出现的拒绝服务主要
  • HoverTree项目已经实现分层 hvt 编程.netWebC#ASP.ENT
    HoverTree项目已经初步实现分层，源代码已经上传到 http://hovertree.codeplex.com请到SOURCE CODE查看。在本地用SQL Server 2008 数据库测试成功。数据库和表请参考：http://keleyi.com/a/bjae/ue6stb42.htmHoverTree是一个ASP.NET 开源项目，希望对你学习ASP.NET或者C#语言有帮助，如果你对
  • Google Maps API v3: Remove Markers 移除标记 天梯梦 google maps api
    Simply do the following:   I. Declare a global variable: var markersArray = [];   II. Define a function: function clearOverlays() { for (var i = 0; i < markersArray.length; i++ )
  • jQuery选择器总结 lq38366 jquery选择器
      1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40
  • 基础数据结构和算法六：Quick sort sunwinner AlgorithmQuicksort
    Quick sort is probably used more widely than any other. It is popular because it is not difficult to implement, works well for a variety of different kinds of input data, and is substantially faster t
  • 如何让Flash不遮挡HTML div元素的技巧_HTML/Xhtml_网页制作 刘星宇 htmlWeb
    今天在写一个flash广告代码的时候，因为flash自带的链接，容易被当成弹出广告，所以做了一个div层放到flash上面，这样链接都是a触发的不会被拦截，但发现flash一直处于div层上面，原来flash需要加个参数才可以。 让flash置于DIV层之下的方法，让flash不挡住飘浮层或下拉菜单，让Flash不档住浮动对象或层的关键参数：wmode=opaque。 方法如下：
  • Mybatis实用Mapper SQL汇总示例 wdmcygah sqlmysqlmybatis实用
    Mybatis作为一个非常好用的持久层框架，相关资料真的是少得可怜，所幸的是官方文档还算详细。本博文主要列举一些个人感觉比较常用的场景及相应的Mapper SQL写法，希望能够对大家有所帮助。 不少持久层框架对动态SQL的支持不足，在SQL需要动态拼接时非常苦恼，而Mybatis很好地解决了这个问题，算是框架的一大亮点。对于常见的场景，例如：批量插入/更新/删除，模糊查询，多条件查询，联表查询，
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他