MrZhangBaby
MrZhangBaby

Hive分析窗口函数(四) LAG,LEAD,FIRST_VALUE,LAST_VALUE

问题导读

1.LAG功能是什么？
2.LEAD与LAG功能有什么相似的地方那个？
3.FIRST_VALUE与LAST_VALUE分别完成什么功能？

 

继续学习这四个分析函数（LAG,LEAD,FIRST_VALUE,LAST_VALUE）。注意： 这几个函数不支持WINDOW子句。


Hive版本为 apache-hive-0.13.1

数据准备：

cookie1,2019-04-10 10:00:02,url2
cookie1,2019-04-10 10:00:00,url1
cookie1,2019-04-10 10:03:04,1url3
cookie1,2019-04-10 10:50:05,url6
cookie1,2019-04-10 11:00:00,url7
cookie1,2019-04-10 10:10:00,url4
cookie1,2019-04-10 10:50:01,url5
cookie2,2019-04-10 10:00:02,url22
cookie2,2019-04-10 10:00:00,url11
cookie2,2019-04-10 10:03:04,1url33
cookie2,2019-04-10 10:50:05,url66
cookie2,2019-04-10 11:00:00,url77
cookie2,2019-04-10 10:10:00,url44
cookie2,2019-04-10 10:50:01,url55

CREATE EXTERNAL TABLE zcg1234 (
cookieid string,
createtime string,  --页面访问时间
url STRING       --被访问页面
) ROW FORMAT DELIMITED 
FIELDS TERMINATED BY ',' 
stored as textfile location '/tmp/zcg1234/';


hive> select * from zcg1234;
OK
cookie1 2019-04-10 10:00:02     url2
cookie1 2019-04-10 10:00:00     url1
cookie1 2019-04-10 10:03:04     1url3
cookie1 2019-04-10 10:50:05     url6
cookie1 2019-04-10 11:00:00     url7
cookie1 2019-04-10 10:10:00     url4
cookie1 2019-04-10 10:50:01     url5
cookie2 2019-04-10 10:00:02     url22
cookie2 2019-04-10 10:00:00     url11
cookie2 2019-04-10 10:03:04     1url33
cookie2 2019-04-10 10:50:05     url66
cookie2 2019-04-10 11:00:00     url77
cookie2 2019-04-10 10:10:00     url44
cookie2 2019-04-10 10:50:01     url55

LAG
LAG(col,n,DEFAULT) 用于统计窗口内往上第n行值
第一个参数为列名，第二个参数为往上第n行（可选，默认为1），第三个参数为默认值（当往上第n行为NULL时候，取默认值，如不指定，则为NULL）

SELECT cookieid,
createtime,
url,
ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY createtime) AS rn,
LAG(createtime,1,'1970-01-01 00:00:00') OVER(PARTITION BY cookieid ORDER BY createtime) AS last_1_time,
LAG(createtime,2) OVER(PARTITION BY cookieid ORDER BY createtime) AS last_2_time 
FROM zcg1234;


cookieid createtime             url    rn       last_1_time             last_2_time
-------------------------------------------------------------------------------------------
cookie1 2019-04-10 10:00:00     url1    1       1970-01-01 00:00:00     NULL
cookie1 2019-04-10 10:00:02     url2    2       2019-04-10 10:00:00     NULL
cookie1 2019-04-10 10:03:04     1url3   3       2019-04-10 10:00:02     2019-04-10 10:00:00
cookie1 2019-04-10 10:10:00     url4    4       2019-04-10 10:03:04     2019-04-10 10:00:02
cookie1 2019-04-10 10:50:01     url5    5       2019-04-10 10:10:00     2019-04-10 10:03:04
cookie1 2019-04-10 10:50:05     url6    6       2019-04-10 10:50:01     2019-04-10 10:10:00
cookie1 2019-04-10 11:00:00     url7    7       2019-04-10 10:50:05     2019-04-10 10:50:01
cookie2 2019-04-10 10:00:00     url11   1       1970-01-01 00:00:00     NULL
cookie2 2019-04-10 10:00:02     url22   2       2019-04-10 10:00:00     NULL
cookie2 2019-04-10 10:03:04     1url33  3       2019-04-10 10:00:02     2019-04-10 10:00:00
cookie2 2019-04-10 10:10:00     url44   4       2019-04-10 10:03:04     2019-04-10 10:00:02
cookie2 2019-04-10 10:50:01     url55   5       2019-04-10 10:10:00     2019-04-10 10:03:04
cookie2 2019-04-10 10:50:05     url66   6       2019-04-10 10:50:01     2019-04-10 10:10:00
cookie2 2019-04-10 11:00:00     url77   7       2019-04-10 10:50:05     2019-04-10 10:50:01


last_1_time: 指定了往上第1行的值，default为'1970-01-01 00:00:00'  
             cookie1第一行，往上1行为NULL,因此取默认值 1970-01-01 00:00:00
             cookie1第三行，往上1行值为第二行值，2019-04-10 10:00:02
             cookie1第六行，往上1行值为第五行值，2019-04-10 10:50:01
last_2_time: 指定了往上第2行的值，为指定默认值
             cookie1第一行，往上2行为NULL
             cookie1第二行，往上2行为NULL
             cookie1第四行，往上2行为第二行值，2019-04-10 10:00:02
             cookie1第七行，往上2行为第五行值，2019-04-10 10:50:01

LEAD

与LAG相反
LEAD(col,n,DEFAULT) 用于统计窗口内往下第n行值
第一个参数为列名，第二个参数为往下第n行（可选，默认为1），第三个参数为默认值（当往下第n行为NULL时候，取默认值，如不指定，则为NULL）

SELECT cookieid,
createtime,
url,
ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY createtime) AS rn,
LEAD(createtime,1,'1970-01-01 00:00:00') OVER(PARTITION BY cookieid ORDER BY createtime) AS next_1_time,
LEAD(createtime,2) OVER(PARTITION BY cookieid ORDER BY createtime) AS next_2_time 
FROM zcg1234;


cookieid createtime             url    rn       next_1_time             next_2_time 
-------------------------------------------------------------------------------------------
cookie1 2019-04-10 10:00:00     url1    1       2019-04-10 10:00:02     2019-04-10 10:03:04
cookie1 2019-04-10 10:00:02     url2    2       2019-04-10 10:03:04     2019-04-10 10:10:00
cookie1 2019-04-10 10:03:04     1url3   3       2019-04-10 10:10:00     2019-04-10 10:50:01
cookie1 2019-04-10 10:10:00     url4    4       2019-04-10 10:50:01     2019-04-10 10:50:05
cookie1 2019-04-10 10:50:01     url5    5       2019-04-10 10:50:05     2019-04-10 11:00:00
cookie1 2019-04-10 10:50:05     url6    6       2019-04-10 11:00:00     NULL
cookie1 2019-04-10 11:00:00     url7    7       1970-01-01 00:00:00     NULL
cookie2 2019-04-10 10:00:00     url11   1       2019-04-10 10:00:02     2019-04-10 10:03:04
cookie2 2019-04-10 10:00:02     url22   2       2019-04-10 10:03:04     2019-04-10 10:10:00
cookie2 2019-04-10 10:03:04     1url33  3       2019-04-10 10:10:00     2019-04-10 10:50:01
cookie2 2019-04-10 10:10:00     url44   4       2019-04-10 10:50:01     2019-04-10 10:50:05
cookie2 2019-04-10 10:50:01     url55   5       2019-04-10 10:50:05     2019-04-10 11:00:00
cookie2 2019-04-10 10:50:05     url66   6       2019-04-10 11:00:00     NULL
cookie2 2019-04-10 11:00:00     url77   7       1970-01-01 00:00:00     NULL

--逻辑与LAG一样，只不过LAG是往上，LEAD是往下。

FIRST_VALUE

取分组内排序后，截止到当前行，第一个值

SELECT cookieid,
createtime,
url,
ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY createtime) AS rn,
FIRST_VALUE(url) OVER(PARTITION BY cookieid ORDER BY createtime) AS first1 
FROM zcg1234;

cookieid  createtime            url     rn      first1
---------------------------------------------------------
cookie1 2019-04-10 10:00:00     url1    1       url1
cookie1 2019-04-10 10:00:02     url2    2       url1
cookie1 2019-04-10 10:03:04     1url3   3       url1
cookie1 2019-04-10 10:10:00     url4    4       url1
cookie1 2019-04-10 10:50:01     url5    5       url1
cookie1 2019-04-10 10:50:05     url6    6       url1
cookie1 2019-04-10 11:00:00     url7    7       url1
cookie2 2019-04-10 10:00:00     url11   1       url11
cookie2 2019-04-10 10:00:02     url22   2       url11
cookie2 2019-04-10 10:03:04     1url33  3       url11
cookie2 2019-04-10 10:10:00     url44   4       url11
cookie2 2019-04-10 10:50:01     url55   5       url11
cookie2 2019-04-10 10:50:05     url66   6       url11
cookie2 2019-04-10 11:00:00     url77   7       url11

LAST_VALUE

取分组内排序后，截止到当前行，最后一个值

SELECT cookieid,
createtime,
url,
ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY createtime) AS rn,
LAST_VALUE(url) OVER(PARTITION BY cookieid ORDER BY createtime) AS last1 
FROM zcg1234;


cookieid  createtime            url    rn       last1  
-----------------------------------------------------------------
cookie1 2019-04-10 10:00:00     url1    1       url1
cookie1 2019-04-10 10:00:02     url2    2       url2
cookie1 2019-04-10 10:03:04     1url3   3       1url3
cookie1 2019-04-10 10:10:00     url4    4       url4
cookie1 2019-04-10 10:50:01     url5    5       url5
cookie1 2019-04-10 10:50:05     url6    6       url6
cookie1 2019-04-10 11:00:00     url7    7       url7
cookie2 2019-04-10 10:00:00     url11   1       url11
cookie2 2019-04-10 10:00:02     url22   2       url22
cookie2 2019-04-10 10:03:04     1url33  3       1url33
cookie2 2019-04-10 10:10:00     url44   4       url44
cookie2 2019-04-10 10:50:01     url55   5       url55
cookie2 2019-04-10 10:50:05     url66   6       url66
cookie2 2019-04-10 11:00:00     url77   7       url77

如果不指定ORDER BY，则默认按照记录在文件中的偏移量进行排序，会出现错误的结果

SELECT cookieid,
createtime,
url,
FIRST_VALUE(url) OVER(PARTITION BY cookieid) AS first2  
FROM zcg1234;

cookieid  createtime            url     first2
----------------------------------------------
cookie1 2019-04-10 10:00:02     url2    url2
cookie1 2019-04-10 10:00:00     url1    url2
cookie1 2019-04-10 10:03:04     1url3   url2
cookie1 2019-04-10 10:50:05     url6    url2
cookie1 2019-04-10 11:00:00     url7    url2
cookie1 2019-04-10 10:10:00     url4    url2
cookie1 2019-04-10 10:50:01     url5    url2
cookie2 2019-04-10 10:00:02     url22   url22
cookie2 2019-04-10 10:00:00     url11   url22
cookie2 2019-04-10 10:03:04     1url33  url22
cookie2 2019-04-10 10:50:05     url66   url22
cookie2 2019-04-10 11:00:00     url77   url22
cookie2 2019-04-10 10:10:00     url44   url22
cookie2 2019-04-10 10:50:01     url55   url22

SELECT cookieid,
createtime,
url,
LAST_VALUE(url) OVER(PARTITION BY cookieid) AS last2  
FROM zcg1234;

cookieid  createtime            url     last2
----------------------------------------------
cookie1 2019-04-10 10:00:02     url2    url5
cookie1 2019-04-10 10:00:00     url1    url5
cookie1 2019-04-10 10:03:04     1url3   url5
cookie1 2019-04-10 10:50:05     url6    url5
cookie1 2019-04-10 11:00:00     url7    url5
cookie1 2019-04-10 10:10:00     url4    url5
cookie1 2019-04-10 10:50:01     url5    url5
cookie2 2019-04-10 10:00:02     url22   url55
cookie2 2019-04-10 10:00:00     url11   url55
cookie2 2019-04-10 10:03:04     1url33  url55
cookie2 2019-04-10 10:50:05     url66   url55
cookie2 2019-04-10 11:00:00     url77   url55
cookie2 2019-04-10 10:10:00     url44   url55
cookie2 2019-04-10 10:50:01     url55   url55

如果想要取分组内排序后最后一个值，则需要变通一下：

SELECT cookieid,
createtime,
url,
ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY createtime) AS rn,
LAST_VALUE(url) OVER(PARTITION BY cookieid ORDER BY createtime) AS last1,
FIRST_VALUE(url) OVER(PARTITION BY cookieid ORDER BY createtime DESC) AS last2 
FROM zcg1234 
ORDER BY cookieid,createtime;

cookieid  createtime            url     rn     last1    last2
-------------------------------------------------------------
cookie1 2019-04-10 10:00:00     url1    1       url1    url7
cookie1 2019-04-10 10:00:02     url2    2       url2    url7
cookie1 2019-04-10 10:03:04     1url3   3       1url3   url7
cookie1 2019-04-10 10:10:00     url4    4       url4    url7
cookie1 2019-04-10 10:50:01     url5    5       url5    url7
cookie1 2019-04-10 10:50:05     url6    6       url6    url7
cookie1 2019-04-10 11:00:00     url7    7       url7    url7
cookie2 2019-04-10 10:00:00     url11   1       url11   url77
cookie2 2019-04-10 10:00:02     url22   2       url22   url77
cookie2 2019-04-10 10:03:04     1url33  3       1url33  url77
cookie2 2019-04-10 10:10:00     url44   4       url44   url77
cookie2 2019-04-10 10:50:01     url55   5       url55   url77
cookie2 2019-04-10 10:50:05     url66   6       url66   url77
cookie2 2019-04-10 11:00:00     url77   7       url77   url77

提示：在使用分析函数的过程中，要特别注意ORDER BY子句，用的不恰当，统计出的结果就不是你所期望。其实我觉得像这些场景都是比较特殊的，可以收藏一下，然后等啥时候遇到的业务场景或者情况需要复杂的逻辑的时候，普通的无法处理的时候，你就可以过来查询一下开窗函数的特性，有没有类似的功能。有的话，花个五分钟研究下，用就好了。如果不能用的话，那你就用UDF函数搞吧。如果再不行，写代码吧老哥....

你可能感兴趣的:(大数据,Hive)

  • 大数据经典技术解析：Hadoop+Spark大数据分析原理与实践 AI天才研究院 Python实战自然语言处理人工智能语言模型编程实践开发语言架构设计
    作者：禅与计算机程序设计艺术1.简介大数据时代已经来临。随着互联网、移动互联网、物联网等新兴技术的出现，海量数据开始涌现。而在这些海量数据的基础上进行有效的处理，成为迫切需要解决的问题之一。ApacheHadoop和ApacheSpark是目前主流开源大数据框架。由于其易于部署、高容错性、并行计算能力强、适应数据量大、可编程、社区支持广泛等特点，大大提升了大数据应用的效率和效果。本文通过对Hado
  • Hive的内置函数 不爱学习的小枫 大数据hive数据仓库大数据
    HIVE除了提供了类似mysql的sql的语法外，还提供了大量内置的函数，方便开发者来调用，编写功能丰富的处理程序。使用如下命令查看当前hive版本支持的所有内置函数。showfunctions;显示函数的描述信息：DESCFUNCTIONconcat;显示函数的扩展描述信息：DESCFUNCTIONEXTENDEDconcat;下面我们对其中重要的，使用频率高的函数使用进行详细讲解。1字符串函数
  • python读取redis大数据_大数据系列——Redis学习笔记 weixin_39661345
    1.Redis的简介Redis是一个开源(BSD许可)，内存存储的数据结构服务器,可用作数据库，高速缓存和消息队列代理它支持字符串、哈希表、列表、集合、有序集合，位图，hyperloglogs等数据类型内置复制、Lua脚本、LRU收回、事务以及不同级别磁盘持久化功能，同时通过RedisSentinel提供高可用，通过RedisCluster提供自动分区。简言之，Redis是一种面向“键/值”对数据
  • 英伟达DeepStream学习笔记30——kafka和AMQP的区别 翟羽嚄 英伟达TX2/Xavier/deepstream开发kafka学习rabbitmq
    作为消息队列来说，企业中选择mq的还是多数，因为像Rabbit，Rocket等mq中间件都属于很成熟的产品，性能一般但可靠性较强，而kafka原本设计的初衷是日志统计分析，现在基于大数据的背景下也可以做运营数据的分析统计，而redis的主要场景是内存数据库，作为消息队列来说可靠性太差，而且速度太依赖网络IO，在服务器本机上的速度较快，且容易出现数据堆积的问题，在比较轻量的场合下能够适用。Rabbi
  • hive之leg函数 三生暮雨渡瀟瀟 hivehive
    从博客上发现两个面试题，其中有个用到了lag函数。整理学习LAG函数是Hive中常用的窗口函数，用于访问同一分区内前一行（或前N行）的数据。它在分析时间序列数据、计算相邻记录差异等场景中非常有用。一、语法LAG(column,offset,default)OVER(PARTITIONBYpartition_expressionORDERBYsort_expression[ASC|DESC])col
  • XLNet：超越BERT的新星 AI天才研究院 DeepSeekR1&大数据AI人工智能大模型AI大模型企业级应用开发实战计算科学神经计算深度学习神经网络大数据人工智能大型语言模型AIAGILLMJavaPython架构设计AgentRPA
    -XLNet：超越BERT的新星1.背景介绍1.1自然语言处理的重要性自然语言处理(NaturalLanguageProcessing,NLP)是人工智能领域的一个重要分支,旨在使计算机能够理解和生成人类语言。随着大数据时代的到来,海量的自然语言数据不断涌现,对NLP技术的需求与日俱增。NLP技术已广泛应用于机器翻译、智能问答、信息检索、情感分析等诸多领域,为人类生产和生活带来了巨大便利。1.2预
  • 使用DataX将ClickHouse数据导入Hive MYH516 clickhousehivehadoop
    在将ClickHouse数据导入Hive时，如果字段中包含回车符（\n）或换行符（\r），会导致Hive在读取数据时将其误认为是行分隔符，从而导致数据错列的问题。为了解决这个问题，可以采取以下方法：解决方法1：在ClickHouse中清洗数据在导出数据之前，先对ClickHouse表中的数据进行清洗，将回车符和换行符替换为其他字符（如空格或空字符串）。示例SQL：SELECTcol1,col2,r
  • hive开窗函数详解 WakeUpCcc hivehadoop数据仓库大数据
    1.OVER()：用于指定分析函数工作时的数据窗口大小，这个数据窗口大小可能会随着行的变而变化；2.CURRENTROW：当前行；nPRECEDING：往前n行数据；nFOLLOWING：往后n行数据；UNBOUNDED：起点，UNBOUNDEDPRECEDING表示从前面的起点，UNBOUNDEDFOLLOWING表示到后面的终点；LAG(col,n,default_val)：往前第n行数据；L
  • 探讨Hadoop的基础架构及其核心特点 xx155802862xx hadoop大数据分布式
    Hadoop是一个开源软件框架，用于存储和处理大规模数据集。它是Apache软件基金会下的一个项目，灵感来源于Google的两篇论文：一篇关于Google文件系统（GFS），另一篇关于MapReduce。Hadoop设计用于从单台服务器扩展到数千台机器，每台机器提供局部计算和存储。而不仅仅是处理大数据，Hadoop的真正价值在于其对于数据的高容错性、可扩展性以及相对低成本的存储和处理能力。以下是探
  • Java应用实战：从入门到精通的全面指南 听风吟丶 java开发语言
    引言Java，作为一门跨平台的高级编程语言，自1995年由SunMicrosystems推出以来，凭借其“一次编写，到处运行”的特性，迅速在全球范围内获得了广泛的认可和应用。无论是企业级应用、移动应用开发，还是大数据处理、云计算平台，Java都扮演着举足轻重的角色。本篇文章旨在为初学者提供一条清晰的学习路径，同时也为有一定基础的开发者提供进阶的指导，帮助大家从入门走向精通。一、Java基础篇：搭建
  • 大数据技术学习框架（更新中......） 小技工丨 大数据技术学习大数据学习
    Hadoop相关HDFS分布式文件系统MR(MapReduce)离线数据处理MR-图解YARN集群资源管理ZooKeeperZooKeeper分布式协调框架Hive相关Hive-01之数仓、架构、数据类型、DDL、内外部表Hive-02之分桶表、数据导入导出、静动态分区、查询、排序、hiveserver2Hive-03之传参、常用函数、explode、lateralview、行专列、列转行、UDF
  • 【自学笔记】大数据基础知识点总览-持续更新 Long_poem 笔记大数据
    提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录大数据基础知识点总览1.大数据概述2.大数据处理技术3.数据仓库与数据挖掘4.大数据分析与可视化5.大数据平台与架构6.大数据安全与隐私总结大数据基础知识点总览1.大数据概述定义：大数据是指数据量巨大、类型多样、处理速度快的数据集合。特征：4V（Volume、Velocity、Variety、Veracity）描述了大数据的主
  • 大数据处理实践探索 ---- 笔试面试题：ElasticSearch shiter 大数据机器学习实践探索笔试面试题elasticsearch
    ES中的倒排索引是什么？传统的检索方式是通过文章，逐个遍历找到对应关键词的位置。倒排索引，是通过分词策略，形成了词和文章的映射关系表，也称倒排表，这种词典+映射表即为倒排索引。其中词典中存储词元，倒排表中存储该词元在哪些文中出现的位置。有了倒排索引，就能实现O(1)时间复杂度的效率检索文章了，极大的提高了检索效率。加分项：倒排索引的底层实现是基于：FST（FiniteStateTransducer
  • .Net Core HttpClient处理响应压缩 溪源More pythonjava编程语言springhttp
    前言在上篇文章[ASP.NETCore中的响应压缩]中我们谈到了在ASP.NETCore服务端处理关于响应压缩的请求，服务端的主要工作就是根据Content-Encoding头信息判断采用哪种方式压缩并返回。之前在群里有人问道过，现在的网络带宽这么高了还有必要在服务端针对请求进行压缩吗？确实，如今分布式和负载均衡技术这么成熟，很多需要处理高并发大数据的场景都可以通过增加服务器节点来进行。但是，在资
  • 破解高并发难题：百万到亿级系统架构实战指南 繁华之中悟静 架构数据结构软件需求软件工程微服务软件构建
    参考书籍《架构真意-企业级应用架构设计方法论与实践》作者范刚孙玄机械工业出版社本书通过架构设计方法论、分布式架构设计与实践和大数据架构设计三部分内容，系统阐述了在软件开发的时候，如何设计软件架构，并且对1000万级、5000万级、亿级等不同量级流量的系统平台给出了不同的技术架构方案。书籍对于想快速熟悉软件架构构建思想和理念的从业者，有较大的帮助。第一部分架构设计方法论架构设计按照“5视图法”分为逻
  • 前端项目中脚本文件打包，vscode中如何正确使用gtar命令 今天吃了嘛o 前端vscodeide
    1、下载gtarhttps://gnuwin32.sourceforge.net/packages/libarchive.htm2、傻瓜式安装一路下一步即可。3、配置环境变量高级系统设置”在弹出的“系统属性”窗口中，点击“环境变量”。在“系统变量”列表中找到“Path”变量，点击“编辑”。点击“新建”，将gtar可执行文件所在的目录路径（例如C:\ProgramFiles(x86)\GnuWin3
  • 【update 更新数据语法合集】.NET开源ORM框架 SqlSugar 系列 m0_74823595 面试学习路线阿里巴巴.net开源
    系列文章目录文章目录系列文章目录前言??一、实体对象更新1.1单条与批量1.2不更新某列1.3只更新某列1.4NULL列不更新1.5无主键/指定列1.6更新添加条件1.7大数据更新1.8重新赋值1：list中的值修改1.9重新赋值2:列中的值+1二、根据表达式更新（像SQL）2.1指定多个字段更新2.2一个字段更新2.3字段+1更新2.4Set语法是支持多个的2.5批量更新IN2.6表达式无实体更
  • win11编译pytorchvision cuda128版本流程 System_sleep pytorchpython编译windowscuda
    1.前置条件本篇续接自win11编译pytorchcuda128版本流程，阅读前请先参考上一篇配置环境。访问https://kkgithub.com/pytorch/vision/archive/refs/tags/v0.21.0.tar.gz下载源码，下载后解压。2.编译打开MiniforgePrompt，依次执行如下代码：condaactivatetorch_build_envcondains
  • 爬虫实战分享：高效爬取汽车官方销售排行榜的技术方案 威哥说编程 python网络爬虫
    随着大数据技术的飞速发展，爬虫技术在各行各业中得到了广泛应用。汽车行业作为一个信息密集型行业，销售数据、排行榜和车型趋势等内容成为了汽车公司、市场研究者和消费者关注的重点。爬虫技术为这些数据的收集和分析提供了强有力的支持。本文将介绍如何通过爬虫技术高效爬取某汽车官方销售排行榜，并讨论常见的技术难点与解决方案。1.目标与需求分析我们的目标是从某汽车官方网站上高效地爬取官方销售排行榜。爬取内容包括：销
  • ‌Tomcat 8.0.12安装流程 小魚資源大雜燴 tomcatjavalinux
    需要确保系统已经安装了JavaDevelopmentKit(JDK)7或更高版本。可以通过以下命令检查Java是否安装以及版本信息：shjava-version如果未安装Java，需要先下载并安装适合你操作系统的JDK。Windows系统安装流程步骤1：下载Tomcat8.0.12打开浏览器，访问ApacheTomcat的存档页面：https://archive.apache.org/dist/t
  • 入门Apache Spark：基础知识和架构解析 juer_0001 javaspark
    介绍ApacheSparkSpark的历史和背景ApacheSpark是一种快速、通用、可扩展的大数据处理引擎，最初由加州大学伯克利分校的AMPLab开发，于2010年首次推出。它最初设计用于支持分布式计算框架MapReduce的交互式查询，但逐渐发展成为一种更通用的数据处理引擎，能够处理数据流、批处理和机器学习等工作负载。Spark的特点和优势Spark是一种快速、通用、可扩展的大数据处理框架，
  • 用大白话解释数据库分库分表sharding是什么 有什么用 怎么用 心心祥蓉 数据库
    Sharding是什么？Sharding（分片）就像把一整个图书馆的书拆开放到多个小房间，每个房间只存一部分书。这样找书的人不用挤在一个大厅里翻找，效率更高。技术定义：把一个大数据库拆分成多个小数据库（分片），分散到不同服务器上，解决单台服务器性能不足的问题。比如原本一个数据库存10亿条用户数据，拆成10个库，每个存1亿条。场景类比：图书馆分房间：按书的类型（科技、文学）或首字母分房间。电商分订单
  • 京东Hive SQL面试题实战：APP路径分析场景解析与幽默生存指南 数据大包哥 #大厂SQL面试指南hivesqlhadoop
    京东HiveSQL面试题实战：APP路径分析场景解析与幽默生存指南“数据开发工程师的终极浪漫，就是把用户路径写成诗——用HiveSQL押韵。”——某不愿透露姓名的SQL诗人一、题目背景：来自京东的真实需求假设你是京东APP的数据工程师，现在需要分析用户在APP中的访问路径特征。原始日志表user_behavior结构如下：字段名类型说明user_idBIGINT用户ID（脱敏）session_id
  • 云计算相关工作岗位有哪些，薪资怎么样？ 欧米说云 云计算腾讯云阿里云云计算
    云计算、大数据、人工智能作为新一代信息技术产业，未来发展前景不可估量，就业前途一片光明，自然薪资待遇也不会差。随着亚马逊云、阿里云、华为云等云厂商的快速发展，也产生了大量的岗位需求，同时厂商为了增强自身影响力，也设置了很多证书考试，acp、ace、hcip、hcie等等。在这里想进入相关行业大厂从事云相关的工作的同学可以先考取大厂的对应证书，增加自己简历含金量，从而进入大厂。免费领取阿里云华为认证
  • Flink架构体系：深入解析Apache Flink的架构与工作原理 雨中徜徉的思绪漫溢 flink架构apache大数据
    Flink架构体系：深入解析ApacheFlink的架构与工作原理ApacheFlink是一种高性能、分布式、流式处理引擎，被广泛应用于大数据处理和实时分析场景。本文将深入解析Flink的架构体系和工作原理，包括核心组件和数据流处理过程，并提供相应的示例代码。Flink架构概述ApacheFlink的架构基于流式处理模型，它通过将数据流划分为有向无环图（DAG）的形式，将大规模的数据处理任务划分为
  • 【Apache Paimon】-- 13 -- 利用 paimon-flink-action 同步 mysql 表数据 oo寻梦in记 ApachePaimonapacheflinkmysqlapachepaimon
    利用PaimonSchemaEvolution核心特性同步变更的mysql表结构和数据1、背景信息在Paimon诞生以前，若mysql/pg等数据源的表结构发生变化时，我们有几种处理方式（1）人工通知（比如常规的使用邮件），然后运维人员手动同步到数据仓库中（2）使用flink消费DDLbinlog，然后自动更新Hive的外部表和内部表schema那么现在，有了Paimon，我们可以利用其特性，自动
  • jdbc连接数据库步骤oracle,jdbc连接oracle数据库的步骤 weixin_39726044
    使用E-MapReduce集群sqoop组件同步云外Oracle数据库数据到集群hiveE-MapReduce集群sqoop组件可以同步数据库的数据到集群里，不同的数据库源网络配置有一些差异网络配置。最常用的场景是从rdsmysql同步数据，最近也有用户询问如何同步云外专有Oracle数据库数据到hive。云外专有数据库需要集群所有节点通过公网访问，要创建VPC网络，使用VPC网络...文章鸿初2
  • 《Kafka 理解： Broker、Topic 和 Partition》 频繁输入，积极输出 kafka分布式
    Kafka核心架构解析：从概念到实践Kafka是一个分布式流处理平台，广泛应用于日志收集、实时数据分析和事件驱动架构。本文将从Kafka的核心组件、工作原理、实际应用场景等方面进行详细解析，帮助读者深入理解Kafka的架构设计及其在大数据领域的重要性。1.Kafka的背景与应用场景1.1Kafka的背景Kafka最初由LinkedIn开发，用于解决其大规模数据处理的挑战。2011年，Kafka开源
  • 11个大数据在日常生活中的应用场景 雪兽软件 科技前沿大数据
    在我们的日常生活围绕着智能手机、智能相机、智能标签、智能手表和智能扬声器等小工具的时代，从这些不同的数字来源中积累了大量数据。然而，人们应该如何分析和检查这些大量令人困惑的数据呢？这就是大数据发挥魔力的地方。大数据技术和工具的出现有助于应对这些挑战，使世界认识到该技术提供的广泛应用，企业从中受益以进行扩张。什么是大数据？通俗地说，大数据描述了每天吞噬企业的大量结构化和非结构化数据。它主要被定义为三
  • 【大数据】es ElasticSearch常用操作：查询与聚合篇 roshy 大数据
    0说明基于es5.4和es5.6，列举的是个人工作中经常用到的查询（只是工作中使用的是JavaAPI），如果需要看完整的，可以参考官方相关文档https://www.elastic.co/guide/en/elasticsearch/reference/5.4/search.html。1查询先使用一个快速入门来引入，然后后面列出的各种查询都是用得比较多的（在我的工作环境是这样），其它没怎么用的这里
  • 遍历dom 并且存储（将每一层的DOM元素存在数组中） 换个号韩国红果果 JavaScripthtml
    数组从0开始！！ var a=[],i=0; for(var j=0;j<30;j++){ a[j]=[];//数组里套数组，且第i层存储在第a[i]中 } function walkDOM(n){ do{ if(n.nodeType!==3)//筛选去除#text类型 a[i].push(n); //con
  • Android+Jquery Mobile学习系列(9)-总结和代码分享 白糖_ JQuery Mobile
    目录导航   经过一个多月的边学习边练手，学会了Android基于Web开发的毛皮，其实开发过程中用Android原生API不是很多，更多的是HTML/Javascript/Css。   个人觉得基于WebView的Jquery Mobile开发有以下优点： 1、对于刚从Java Web转型过来的同学非常适合，只要懂得HTML开发就可以上手做事。 2、jquerym
  • impala参考资料 dayutianfei impala
    记录一些有用的Impala资料   1. 入门资料 >>官网翻译：     http://my.oschina.net/weiqingbin/blog?catalog=423691   2. 实用进阶 >>代码&架构分析：     Impala/Hive现状分析与前景展望：http
  • JAVA 静态变量与非静态变量初始化顺序之新解 周凡杨 java静态非静态顺序
    今天和同事争论一问题，关于静态变量与非静态变量的初始化顺序，谁先谁后，最终想整理出来！测试代码： import java.util.Map; public class T { public static T t = new T(); private Map map = new HashMap(); public T(){ System.out.println(&quo
  • 跳出iframe返回外层页面 g21121 iframe
    在web开发过程中难免要用到iframe，但当连接超时或跳转到公共页面时就会出现超时页面显示在iframe中，这时我们就需要跳出这个iframe到达一个公共页面去。 首先跳转到一个中间页，这个页面用于判断是否在iframe中，在页面加载的过程中调用如下代码： <script type="text/javascript"> //<!-- function
  • JAVA多线程监听JMS、MQ队列 510888780 java多线程
    背景：消息队列中有非常多的消息需要处理，并且监听器onMessage（）方法中的业务逻辑也相对比较复杂，为了加快队列消息的读取、处理速度。可以通过加快读取速度和加快处理速度来考虑。因此从这两个方面都使用多线程来处理。对于消息处理的业务处理逻辑用线程池来做。对于加快消息监听读取速度可以使用1.使用多个监听器监听一个队列；2.使用一个监听器开启多线程监听。 对于上面提到的方法2使用一个监听器开启多线
  • 第一个SpringMvc例子 布衣凌宇 spring mvc
    第一步：导入需要的包； 第二步：配置web.xml文件 <?xml version="1.0" encoding="UTF-8"?> <web-app version="2.5" xmlns="http://java.sun.com/xml/ns/javaee" xmlns:xsi=
  • 我的spring学习笔记15-容器扩展点之PropertyOverrideConfigurer aijuans Spring3
    PropertyOverrideConfigurer类似于PropertyPlaceholderConfigurer，但是与后者相比，前者对于bean属性可以有缺省值或者根本没有值。也就是说如果properties文件中没有某个bean属性的内容，那么将使用上下文（配置的xml文件）中相应定义的值。如果properties文件中有bean属性的内容，那么就用properties文件中的值来代替上下
  • 通过XSD验证XML antlove xmlschemaxsdvalidationSchemaFactory
    1. XmlValidation.java package xml.validation; import java.io.InputStream; import javax.xml.XMLConstants; import javax.xml.transform.stream.StreamSource; import javax.xml.validation.Schem
  • 文本流与字符集 百合不是茶 PrintWrite()的使用字符集名字 别名获取
    文本数据的输入输出;           输入;数据流,缓冲流         输出;介绍向文本打印格式化的输出PrintWrite();   package 文本流; import java.io.FileNotFound
  • ibatis模糊查询sqlmap-mapping-**.xml配置 bijian1013 ibatis
            正常我们写ibatis的sqlmap-mapping-*.xml文件时，传入的参数都用##标识，如下所示： <resultMap id="personInfo" class="com.bijian.study.dto.PersonDTO"> <res
  • java jvm常用命令工具——jdb命令(The Java Debugger) bijian1013 javajvmjdb
            用来对core文件和正在运行的Java进程进行实时地调试，里面包含了丰富的命令帮助您进行调试，它的功能和Sun studio里面所带的dbx非常相似，但 jdb是专门用来针对Java应用程序的。         现在应该说日常的开发中很少用到JDB了，因为现在的IDE已经帮我们封装好了，如使用ECLI
  • 【Spring框架二】Spring常用注解之Component、Repository、Service和Controller注解 bit1129 controller
    在Spring常用注解第一步部分【Spring框架一】Spring常用注解之Autowired和Resource注解（http://bit1129.iteye.com/blog/2114084）中介绍了Autowired和Resource两个注解的功能，它们用于将依赖根据名称或者类型进行自动的注入，这简化了在XML中，依赖注入部分的XML的编写，但是UserDao和UserService两个bea
  • cxf wsdl2java生成代码super出错,构造函数不匹配 bitray super
        由于过去对于soap协议的cxf接触的不是很多,所以遇到了也是迷糊了一会.后来经过查找资料才得以解决. 初始原因一般是由于jaxws2.2规范和jdk6及以上不兼容导致的.所以要强制降为jaxws2.1进行编译生成.我们需要少量的修改: 我们原来的代码 wsdl2java com.test.xxx -client http://..... 修改后的代
  • 动态页面正文部分中文乱码排障一例 ronin47
    公司网站一部分动态页面，早先使用apache+resin的架构运行，考虑到高并发访问下的响应性能问题，在前不久逐步开始用nginx替换掉了apache。 不过随后发现了一个问题，随意进入某一有分页的网页，第一页是正常的（因为静态化过了）；点“下一页”，出来的页面两边正常，中间部分的标题、关键字等也正常，唯独每个标题下的正文无法正常显示。 因为有做过系统调整，所以第一反应就是新上
  • java-54- 调整数组顺序使奇数位于偶数前面 bylijinnan java
    import java.util.Arrays; import java.util.Random; import ljn.help.Helper; public class OddBeforeEven { /** * Q 54 调整数组顺序使奇数位于偶数前面 * 输入一个整数数组，调整数组中数字的顺序，使得所有奇数位于数组的前半部分，所有偶数位于数组的后半
  • 从100PV到1亿级PV网站架构演变 cfyme 网站架构
    一个网站就像一个人，存在一个从小到大的过程。养一个网站和养一个人一样，不同时期需要不同的方法，不同的方法下有共同的原则。本文结合我自已14年网站人的经历记录一些架构演变中的体会。 1：积累是必不可少的 架构师不是一天练成的。 1999年，我作了一个个人主页，在学校内的虚拟空间，参加了一次主页大赛，几个DREAMWEAVER的页面，几个TABLE作布局，一个DB连接，几行PHP的代码嵌入在HTM
  • [宇宙时代]宇宙时代的GIS是什么？ comsci Gis
           我们都知道一个事实，在行星内部的时候，因为地理信息的坐标都是相对固定的，所以我们获取一组GIS数据之后，就可以存储到硬盘中，长久使用。。。但是，请注意，这种经验在宇宙时代是不能够被继续使用的          宇宙是一个高维时空
  • 详解create database命令 czmmiao database
    完整命令 CREATE DATABASE mynewdb   USER SYS IDENTIFIED BY sys_password   USER SYSTEM IDENTIFIED BY system_password   LOGFILE GROUP 1 ('/u01/logs/my/redo01a.log','/u02/logs/m
  • 几句不中听却不得不认可的话 datageek
    1、人丑就该多读书。 2、你不快乐是因为：你可以像猪一样懒，却无法像只猪一样懒得心安理得。 3、如果你太在意别人的看法，那么你的生活将变成一件裤衩，别人放什么屁，你都得接着。 4、你的问题主要在于：读书不多而买书太多，读书太少又特爱思考，还他妈话痨。 5、与禽兽搏斗的三种结局：(1)、赢了，比禽兽还禽兽。(2)、输了，禽兽不如。(3)、平了，跟禽兽没两样。结论：选择正确的对手很重要。 6
  • 1 14:00 PHP中的“syntax error, unexpected T_PAAMAYIM_NEKUDOTAYIM”错误 dcj3sjt126com PHP
    原文地址：http://www.kafka0102.com/2010/08/281.html   因为需要，今天晚些在本机使用PHP做些测试，PHP脚本依赖了一堆我也不清楚做什么用的库。结果一跑起来，就报出类似下面的错误：“Parse error: syntax error, unexpected T_PAAMAYIM_NEKUDOTAYIM in /home/kafka/test/
  • xcode6 Auto layout and size classes dcj3sjt126com ios
    官方GUI   https://developer.apple.com/library/ios/documentation/UserExperience/Conceptual/AutolayoutPG/Introduction/Introduction.html   iOS中使用自动布局（一）   http://www.cocoachina.com/ind
  • 通过PreparedStatement批量执行sql语句【sql语句相同，值不同】 梦见x光 sql事务批量执行
    比如说：我有一个List需要添加到数据库中，那么我该如何通过PreparedStatement来操作呢？ public void addCustomerByCommit(Connection conn , List<Customer> customerList) {    String sql = "inseret into customer(id
  • 程序员必知必会----linux常用命令之十【系统相关】 hanqunfeng Linux常用命令
    一.linux快捷键 Ctrl+C : 终止当前命令 Ctrl+S : 暂停屏幕输出 Ctrl+Q : 恢复屏幕输出 Ctrl+U : 删除当前行光标前的所有字符 Ctrl+Z : 挂起当前正在执行的进程 Ctrl+L : 清除终端屏幕，相当于clear   二.终端命令 clear : 清除终端屏幕 reset : 重置视窗，当屏幕编码混乱时使用 time com
  • NGINX IXHONG nginx
    pcre 编译安装 nginx conf/vhost/test.conf   upstream admin { server 127.0.0.1:8080; }   server {                 listen       80; &
  • 设计模式--工厂模式 kerryg 设计模式
    工厂方式模式分为三种：   1、普通工厂模式：建立一个工厂类，对实现了同一个接口的一些类进行实例的创建。   2、多个工厂方法的模式：就是对普通工厂方法模式的改进，在普通工厂方法模式中，如果传递的字符串出错，则不能正确创建对象，而多个工厂方法模式就是提供多个工厂方法，分别创建对象。   3、静态工厂方法模式：就是将上面的多个工厂方法模式里的方法置为静态，
  • Spring InitializingBean/init-method和DisposableBean/destroy-method mx_xiehd javaspringbeanxml
    1.initializingBean/init-method 实现org.springframework.beans.factory.InitializingBean接口允许一个bean在它的所有必须属性被BeanFactory设置后，来执行初始化的工作，InitialzingBean仅仅指定了一个方法。 通常InitializingBean接口的使用是能够被避免的，（不鼓励使用，因为没有必要
  • 解决Centos下vim粘贴内容格式混乱问题 qindongliang1922 centosvim
    有时候，我们在向vim打开的一个xml，或者任意文件中，拷贝粘贴的代码时，格式莫名其毛的就混乱了，然后自己一个个再重新，把格式排列好，非常耗时，而且很不爽，那么有没有办法避免呢？ 答案是肯定的，设置下缩进格式就可以了，非常简单： 在用户的根目录下 直接vi  ~/.vimrc文件 然后将set pastetoggle=<F9> 写入这个文件中，保存退出，重新登录，
  • netty大并发请求问题 tianzhihehe netty
    多线程并发使用同一个channel java.nio.BufferOverflowException: null at java.nio.HeapByteBuffer.put(HeapByteBuffer.java:183) ~[na:1.7.0_60-ea] at java.nio.ByteBuffer.put(ByteBuffer.java:832) ~[na:1.7.0_60-ea]
  • Hadoop NameNode单点问题解决方案之一 AvatarNode wyz2009107220 NameNode
    我们遇到的情况 Hadoop NameNode存在单点问题。这个问题会影响分布式平台24*7运行。先说说我们的情况吧。 我们的团队负责管理一个1200节点的集群(总大小12PB)，目前是运行版本为Hadoop 0.20，transaction logs写入一个共享的NFS filer(注：NetApp NFS Filer)。 经常遇到需要中断服务的问题是给hadoop打补丁。 DataNod
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他