大数据羊说
大数据羊说

flink sql 知其所以然（八）：flink sql tumble window 的奇妙解析之路

图片

感谢您的小爱心（关注  +  点赞 + 再看），对博主的肯定，会督促博主持续的输出更多的优质实战内容！！！

1.序篇-本文结构

大数据羊说

大数据羊说

用数据提升美好事物发生的概率~

34篇原创内容

公众号

源码公众号后台回复flink sql tumble window 的奇妙解析之路获取。

针对 datastream api 大家都比较熟悉了，还是那句话，在 datastream 中，你写的代码逻辑是什么样的，它最终的执行方式就是什么样的。

但是对于 flink sql 的执行过程，大家还是不熟悉的。上节使用 ETL，group agg（sum，count等）简单聚合类 query 带大家走进一条 flink sql query 逻辑的世界。帮大家至少能够熟悉在 flink sql 程序运行时知道 flink 程序在干什么。

此节就是窗口聚合章节的第一篇，以一个最简单、最常用的分钟 tumble window 聚合案例给大家介绍其使用方式和原理。

由于 flink 1.13 引入了 window tvf，所以 1.13 和 1.12 及之前版本的实现不同。本节先介绍 flink 1.12 及之前的 tumble window 实现。这也是大家在引入 flink sql 能力时最常使用的。

本节依然从以下几个章节给大家详细介绍 flink sql 的能力。

  1. 目标篇-本文能帮助大家了解 flink sql 什么？
  • 回顾上节的 flink sql 适用场景的结论
  1. 概念篇-先聊聊常见的窗口聚合

  • 窗口竟然拖慢数据产出？

  • 常用的窗口

  1. 实战篇-简单的 tumble window 案例和运行原理

  • 先看一个 datastream 窗口案例

  • flink sql tumble window 的语义

  • tumble window 实际案例

  • GeneratedWatermarkGenerator - flink 1.12.1

  • BinaryRowDataKeySelector - flink 1.12.1

  • AggregateWindowOperator - flink 1.12.1

  1. 总结与展望篇

先说说结论，以下这些结论已经在上节说过了，此处附上上节文章：

  1. 场景问题：flink sql 很适合简单 ETL，以及基本全部场景下的聚合类指标（本节要介绍的 tumble window 就在聚合类指标的范畴之内）。

  2. 语法问题：flink sql 语法其实是和其他 sql 语法基本一致的。基本不会产生语法问题阻碍使用 flink sql。但是本节要介绍的 tumble window 的语法就是略有不同的那部分。下面详细介绍。

  3. 运行问题：查看 flink sql 任务时的一些技巧，以及其中一些可能会碰到的坑：

  • 去 flink webui 就能看到这个任务目前在做什么。包括算子名称都会给直接展示给我们目前哪个算子在干啥事情，在处理啥逻辑。

  • sql 的 watermark 类型要设置为 TIMESTAMP(3)。

  • 事件时间逻辑中，sql api 和 datastream api 对于数据记录时间戳存储逻辑是不一样的。datastream api：每条记录的 rowtime 是放在 StreamRecord 中的时间戳字段中的。sql api：时间戳是每次都从数据中进行获取的。算子中会维护一个下标。可以按照下标从数据中获取时间戳。

2.目标篇-本文能帮助大家了解 flink sql tumble window 什么？

关于 flink sql tumble window 一般都会有以下问题。本文的目标也是为大家解答这些问题：

  1. 场景问题：场景问题就不必多说，datastream 在 tumble window 场景下的应用很多了，分钟级别聚合等常用场景

  2. 语法问题：flink sql 写 tumble window 任务时是一种与 hive sql 中没有的语法。下文详细介绍。

  3. 运行问题：使用一条简单的 tumble window sql 帮大家从 transformation、runtime 帮大家理解 tumble window 的整体运行机制。

  4. 理解误区：既然是 sql 必然要遵循 sql 语义，sql tumble window 聚合是输入多条，产出一条数据。并不像 datastream 那样可以在窗口 udf 中做到多对多。

在正式开始聊 tumble window 之前，先看看上节 flink sql 适用场景的结论。让大家先有 flink sql 的一个整体印象以及结论。

2.1.回顾上节的 flink sql 适用场景的结论

不装了，我坦白了，flink sql 其实很适合干的活就是 dwd 清洗，dws 聚合。

此处主要针对实时数仓的场景来说。flink sql 能干 dwd 清洗，dws 聚合，基本上实时数仓的大多数场景都能给覆盖了。

flink sql 牛逼！！！

但是！！！

经过博主使用 flink sql 经验来看，并不是所有的 dwd，dws 聚合场景都适合 flink sql（截止发文阶段来说）！！！

其实这些目前不适合 flink sql 的场景总结下来就是在处理上比 datastream 还是会有一定的损失。

先总结下使用场景：

1. dwd：简单的清洗、复杂的清洗、维度的扩充、各种 udf 的使用

2. dws：各类聚合

然后分适合的场景和不适合的场景来说，因为只这一篇不能覆盖所有的内容，所以本文此处先大致给个结论，之后会结合具体的场景详细描述。

  • 适合的场景：

  1. 简单的 dwd 清洗场景

  2. 全场景的 dws 聚合场景

  • 目前不太适合的场景：

  1. 复杂的 dwd 清洗场景：举例比如使用了很多 udf 清洗，尤其是使用很多的 json 类解析清洗

  2. 关联维度场景：举例比如 datastream 中经常会有攒一批数据批量访问外部接口的场景，flink sql 目前对于这种场景虽然有 localcache、异步访问能力，但是依然还是一条一条访问外部缓存，这样相比批量访问还是会有性能差距。

3.概念篇-先聊聊常见的窗口聚合

窗口聚合大家都在 datastream api 中很熟悉了，目前在实时数据处理的过程中，窗口计算可以说是最重要、最常用的一种计算方式了。

但是在抛出窗口概念之前，博主有几个关于窗口的小想法说一下。

3.1.窗口竟然拖慢数据产出？

一个小想法。

先抛结论：窗口

你可能感兴趣的:(实时计算,实战技巧,Apache,Flink,flink,sql,big,data,flink,sql,实时计算)

  • Qt界面编程（五） 明阿明 qtlinux
    一、Qt的网络通信使用网络通信模块前，要在.pro文件中添加network模块。QUdpScoket类是Qt对UDP协议的封装：1、创建QUdpSocket对象2、绑定IP的端口号3、发送数据：qint64writeDatagram(constchar*data,qint64len,constQHostAddress&host,quint16port);data：待发送数据的首地址len：待发送数
  • MySQL常用函数性能优化及索引影响分析 Hai－W 数据库mysql性能优化数据库sql
    MySQL常用函数性能优化指南（含索引影响分析）以下是MySQL函数使用指南，新增性能影响评级、索引失效分析和优化方案，帮助您高效使用函数：一、字符串处理函数（含性能分析）函数示例性能影响索引影响优化建议CONCAT()SELECTCONCAT(first_name,last_name)FROMusers;⭐⭐❌导致全扫描存储计算列：ALTERTABLEusersADDfull_nameVARCH
  • Python爬虫网安-request+示例 Whoisshutiao python爬虫网安python爬虫开发语言网络安全
    目录get&post自定义请求头文件上传添加cookie获取网页使用cookiejarsessionssl证书校验超时身份认证（httpbasicAuth）代理配置get&post#！/usr/bin/envpythonimportrequests#get#r=requests.get('http://httpbin.org/get')#print(r.text)#添加参数的get请求data={
  • Docker 入门教程（七）：容器数据卷 千233 Docker（for科研er）dockerjavaeureka
    文章目录Docker入门教程（七）：容器数据卷一、为什么需要数据卷？二、三种挂载方式示例：MySQL数据持久化三、数据卷容器模式（旧式技术）Docker入门教程（七）：容器数据卷一、为什么需要数据卷？容器默认的写层具有两个关键缺点：不持久：容器一旦被删除，数据也随之丢失不可共享：每个容器的数据互相隔离为了解决这个问题，Docker提供了数据卷（Volume）机制，将数据从容器中解耦出来，形成独立、
  • MyBatis 简介 hweiyu00 技术栈杂谈mybatis
    MyBatis简介MyBatis是一款优秀的持久层框架，它支持定制化SQL、存储过程以及高级映射，能够帮助开发者将Java对象与数据库表进行灵活映射，简化数据持久化操作。以下从多个维度详细介绍MyBatis：一、核心定位与优势轻量级框架：相比Hibernate等全自动ORM框架，MyBatis更“轻”，开发者需手动编写SQL语句，灵活性更高，便于优化性能。ORM映射功能：通过XML或注解方式，将J
  • Go 语言高效连接 SQL Server（MSSQL）数据库实战指南 程序员爱钓鱼 数据库golangsqlserver
    在Go语言的开发过程中，与MicrosoftSQLServer(MSSQL)数据库的交互是常见需求之一。本文将详细介绍如何使用Go语言高效、安全地连接SQLServer，并进行基本的CRUD（增删改查）操作。1.安装MSSQL驱动Go语言使用github.com/denisenkom/go-mssqldb作为SQLServer驱动，首先需要安装它：goget-ugithub.com/denisen
  • Spring AI 结合 MCP MySQL 实现对话式数据库查询 没刮胡子 软件开发技术实战专栏人工智能AISpring数据库spring人工智能spring-aimcp-servermysql
    在现代应用开发中，将人工智能与数据库查询结合可以创造更自然、更智能的用户交互方式。下面我将详细介绍如何使用SpringAI框架结合MCP（可能指MySQL连接池或相关组件）实现对话中的数据库查询功能。什么是SpringAI和MCPMySQLSpringAI框架概述SpringAI是基于Spring生态的人工智能集成框架，它提供了：与大型语言模型(LLM)的集成能力对话管理和自然语言处理功能业务逻辑
  • sqlserver 中的go的作用 NaiQai SqlServer
    如果只是执行一条语句，有没有go都一样，如果多条语句之间用go分隔开就不一样了，每个被go分隔的语句都是一个单独的事务，一个语句执行失败不会影响其他语句执行。例如:首先同时执行下边的语句select*fromsysobjectswhereid=aselectgetdate()你会发现会报错，并且不会显示任何结果集而你再执行select*fromsysobjectswhereid=agoselect
  • Ubuntu基础（上传文件和部署Python） aaiier ubuntulinux运维
    首先打开[email protected]然后写yes，在输入密码然后就是输入ls/查看根目录ls/结果是ubuntu@x0-x-xx-xx:~$ls/binbootdevhomelib.usr-is-mergedlost+foundmntprocrunsbin.usr-is-mergedsrvtmpvarbin.usr-is-mergeddataetclibli
  • SQL Server 中 GO 的作用 Lauren_Lu golang数据库oracle
    CREATEDATABASEMyDatabase;USEMyDatabase;GO--定义局部变量DECLARE@s_novarchar(8),@s_avgradenumeric(4,1);--对局部变量赋值SETs_no='20170208';SET@s_avgrade=95.0;--使用局部变量UPDATEstudentSETs_avgrade=@s_avgradeWHEREs_no=@s_n
  • Node.js-fs模块 会飞的鱼先生 node.jsvim编辑器
    文件写入异步写入文件(fs.writeFile())//语法:fs.writeFile(file,data[,options],callback)//参数：文件路径、数据、选项（可选）、回调函数（err）constfs=require('fs');fs.writeFile('file.txt','HelloNode.js',function(err){if(err)throwerr;console
  • 解决报错：org.apache.catalina.connector.ClientAbortException: java.io.IOException: Broken pipe 天黑请闭眼 Java异常处理java
    目录一、场景二、报错信息三、原因四、解决一、场景1、前端调用后端接口报错2、接口功能为导出excel二、报错信息org.apache.catalina.connector.ClientAbortException:java.io.IOException:Brokenpipeatorg.apache.catalina.connector.OutputBuffer.realWriteBytes(Out
  • verilog ascii码 0-99翻译成16进制数 LEEE@FPGA FPGA学习记录fpga开发
    VerilogASCII码转16进制数(0-99)moduleascii_to_hex(inputclk,inputrst_n,input[7:0]ascii_high,//十位数的ASCII码input[7:0]ascii_low,//个位数的ASCII码outputreg[7:0]hex_data//输出的16进制数);reg[7<
  • 探索未来Android开发：深度解析JetHub项目 宗廷国Kenyon
    探索未来Android开发：深度解析JetHub项目JetHubSampleAppwithJetpackcomponents(LiveData,Navigation,ViewModel)+MVVM+coroutine+singleactivity项目地址:https://gitcode.com/gh_mirrors/je/JetHub随着Android技术的不断演进，开发者们总是在寻找那些能够引领
  • 横向移动02
    基于wmic的横向移动本文章中的192.168.3.32是目标地址，就是靶机ip地址条件：wmi服务开启，端口135，默认开启     防火墙允许135、445等端口通信     知道目标机的账户密码或HASH内置（单执行）shell wmic /node:192.168.3.32 /user:sqlserver\administrator /password:admin!@#123  proce
  • Docker 方式安装 Zabbix 7.0 LTS 支持版本 运维阿峰 Zabbixdockerzabbix容器
    文章目录1.介绍（1）zabbix官网可用的docker镜像（2）zabbix镜像常用的挂载点2.安装配置zabbixserver3.配置1.介绍（1）zabbix官网可用的docker镜像在DockerHub中可用的镜像：//zabbixagentzabbix/zabbix-agent//zabbixserverzabbix/zabbix-server-mysqlzabbix/zabbix-se
  • 使用datax进行mysql的表恢复 是桃萌萌鸭~ mysql数据库
    DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、SQLServer、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。FeaturesDataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上Dat
  • Oracle 导入导出 dmp 数据文件实战 dazhong2012 数据库oracle数据库
    一、DMP文件基础知识1.DMP文件定义DMP（DataPumpDumpFile）是Oracle数据库专用的二进制格式文件，由expdp/impdp或旧版exp/imp工具生成。它包含数据库对象的元数据（表结构、索引等）和实际数据，是数据备份、迁移和恢复的核心载体。2.DMP文件结构文件头：记录Oracle版本、字符集、导出时间等元信息。数据段：存储表数据，按数据块组织，支持并行读写。索引段：加速
  • Spring Cache+Redis缓存方案详解：从代码到实践 大手你不懂 JavaJava项目实战Redisspring缓存redis
    描述：在现代Java开发中，缓存是提升系统性能的核心手段之一。本文通过实际代码案例，深入解析SpringCache与Redis的集成原理，结合项目中的ModuleDatabaseInfoService接口和RedisConfig配置，探讨如何通过声明式缓存实现高效的数据库访问优化。一、核心代码解析1.服务接口设计（拿查询数据源配置信息举例）publicinterfaceModuleDatabase
  • Club_IntelliMatch_Development_Guide Joseit pythonpythonpygamedjangoflask
    ClubIntelliMatch系统-全栈开发流程文档概述ClubIntelliMatch系统是一个现代化的社团活动智能匹配平台，采用前后端分离架构。系统基于PythonFlask构建RESTfulAPI后端，Vue.js3+Vite构建现代化前端，MySQL作为持久化数据存储。本文档深入分析了整个开发流程的技术架构、设计原则和实现细节。系统架构流程图后端API架构前端组件架构app.pyFlas
  • Python实例题：基于 Flask 的博客系统 狐凄 实例python开发语言
    目录Python实例题题目要求：解题思路：代码实现：1.base.html2.index.html3.post.html4.create_post.html5.login.html6.register.htmlPython实例题题目基于Flask的博客系统要求：使用Flask框架构建一个简单的博客系统。实现用户认证（注册、登录、注销）。支持博客文章的创建、编辑、删除和查看。使用SQLite数据库存
  • Flask(六) 数据库操作SQLAlchemy @昵称不存在 Flask数据库flask
    文章目录一、准备工作二、最小化可运行示例✅补充延迟绑定方式（推荐方式）三、数据库基本操作（增删改查）1.插入数据（增）2.查询数据（查）3.更新数据（改）4.删除数据（删）四、其他有用方法五、常用字段类型六、初始化数据库脚本（推荐）sqlalchemy实例基本使用常见方法速查多表查询（JOIN）原始SQL语句（可选）示例：分页+排序推荐：使用Flask-SQLAlchemy提供的简写风格完整的Fl
  • Ansible部署MySQL实操 码农运维知识 运维mysqlansiblemysql
    一、Ansible概述Ansible是一款开源的自动化运维工具，由MichaelDeHaan于2012年创建，2015年被红帽（RedHat）收购（收购金额超1亿美元）。它基于Python开发，通过SSH协议实现远程节点管理，无需在被控端安装任何客户端代理（Agentless）。这种设计使其成为轻量级、易部署的自动化解决方案，特别适合批量系统配置、应用程序部署和任务编排等场景。核心特点无代理架构：
  • Bitnami Postgresql镜像和Docker官方镜像的区别 MyySophia GP(GreenPlum大规模并行数据库)dockerpostgresql容器
    Docker官方PostgreSQL镜像不支持复制。如果您传递任何复制环境变量，这将被忽略。Docker官方镜像支持的唯一环境变量是POSTGRES_USER、POSTGRES_DB、POSTGRES_PASSWORD、POSTGRES_INITDB_ARGS、POSTGRES_INITDB_WALDIR和PGDATA。所有剩余的环境变量都特定于BitnamiPostgreSQL映像。Bitnam
  • 深入了解数据库领域行式存储的架构设计 数据库管理艺术 数据库专家之路大数据AI人工智能MCP&AgentSQL实战数据库ai
    深入了解数据库领域行式存储的架构设计关键词：行式存储、数据库架构、OLTP、存储引擎、行记录格式摘要：本文将以“行式存储”为核心，从生活场景切入，逐步拆解数据库行式存储的底层架构设计。我们将通过“图书馆藏书”的趣味比喻、具体代码示例和真实数据库（如MySQLInnoDB）的实践案例，深入理解行式存储的核心原理、适用场景及未来趋势，帮助读者建立对数据库存储架构的系统认知。背景介绍目的和范围数据库是现
  • PostgreSQL数据库的自动化备份脚本编写与部署 数据库管理艺术 数据库专家之路大数据AI人工智能MCP&AgentSQL实战数据库postgresql自动化ai
    PostgreSQL数据库的自动化备份脚本编写与部署关键词：PostgreSQL、自动化备份、pg_dump、crontab、数据库运维摘要：数据库是企业的“数字心脏”，一旦数据丢失可能导致不可挽回的损失。本文将用“给小学生讲故事”的方式，从备份的重要性出发，逐步讲解如何编写PostgreSQL自动化备份脚本（含全量备份、压缩、日志记录、旧文件清理），并通过crontab实现定时执行。无论你是刚接
  • 精准删除：掌握SQL中的DELETE语句 2401_85762266 sqloracle数据库
    精准删除：掌握SQL中的DELETE语句在数据库管理中，数据的增删改查（CRUD）是基本操作。其中，DELETE语句是用于从数据库表中删除数据的重要工具。本文将详细解释如何使用SQL的DELETE语句来删除数据，并提供实际的代码示例，帮助你精确控制数据的删除过程。DELETE语句的基本概念DELETE语句用于从数据库表中根据指定条件删除行。正确使用DELETE语句可以确保数据的完整性和准确性。基本
  • DataX（2）—— 核心流程 申尧强 datax
    DataX的核心执行流程：初始化阶段创建JobContainer容器（主控进程）加载配置，初始化reader/writer插件准备阶段调用reader/writer的prepare()方法执行数据源和目标端的准备工作任务切分阶段根据channel数切分reader任务根据reader切分结果切分writer任务合并生成最终task配置调度执行阶段分配task到各个taskGroup启动TaskGr
  • pycharm——djiango之数据迁移，终端操作 Pop– python
    首先在pycharm中找到terminal(终端)，输入指令：pythonmanage.pymakemigrations之后你会看到如下图：这表示创建成功。接着输入指令：pythonmanage.pymigrate就能看到好多ok，你在数据库中也能看到很多表你可以在终端打开数据库查看表，也可以使用客户端的可视化界面查看，还可以在pycharm中右边的database里边打开查看，如下图：之后你就可
  • C++基本语法与类和对象一 wangjialelele c++
    //C++兼容绝大多数C语言语法//C语言的第一个问题是命名冲突，如rand在有头文件和没有的时候#include//是inputoutputstream的缩写，是标准的输入输出流库namespacewjl{intrand=10;//可以定义变量、函数、结构体等structNode{intdata;structNode*next;};//命名空间是可以无限嵌套的//访问方式：bit::pg::ra
  • rust的指针作为函数返回值是直接传递，还是先销毁后创建？ wudixiaotie 返回值
     这是我自己想到的问题，结果去知呼提问，还没等别人回答， 我自己就想到方法实验了。。 fn main() { let mut a = 34; println!("a's addr:{:p}", &a); let p = &mut a; println!("p's addr:{:p}", &a
  • java编程思想 -- 数据的初始化 百合不是茶 java数据的初始化
      1.使用构造器确保数据初始化      /* *在ReckInitDemo类中创建Reck的对象 */ public class ReckInitDemo { public static void main(String[] args) { //创建Reck对象 new Reck(); } }
  • [航天与宇宙]为什么发射和回收航天器有档期 comsci
           地球的大气层中有一个时空屏蔽层,这个层次会不定时的出现,如果该时空屏蔽层出现,那么将导致外层空间进入的任何物体被摧毁,而从地面发射到太空的飞船也将被摧毁...        所以,航天发射和飞船回收都需要等待这个时空屏蔽层消失之后,再进行 &
  • linux下批量替换文件内容 商人shang linux替换
    1、网络上现成的资料 　　格式: sed -i "s/查找字段/替换字段/g" `grep 查找字段 -rl 路径` 　　linux sed 批量替换多个文件中的字符串 　　sed -i "s/oldstring/newstring/g" `grep oldstring -rl yourdir` 　　例如：替换/home下所有文件中的www.admi
  • 网页在线天气预报 oloz 天气预报
    网页在线调用天气预报 <%@ page language="java" contentType="text/html; charset=utf-8" pageEncoding="utf-8"%> <!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transit
  • SpringMVC和Struts2比较 杨白白 springMVC
    1. 入口 spring mvc的入口是servlet，而struts2是filter（这里要指出，filter和servlet是不同的。以前认为filter是servlet的一种特殊），这样就导致了二者的机制不同，这里就牵涉到servlet和filter的区别了。 参见：http://blog.csdn.net/zs15932616453/article/details/8832343 2
  • refuse copy, lazy girl! 小桔子 copy
           妹妹坐船头啊啊啊啊！都打算一点点琢磨呢。文字编辑也写了基本功能了。。今天查资料，结果查到了人家写得完完整整的。我清楚的认识到： 1.那是我自己觉得写不出的高度 2.如果直接拿来用，很快就能解决问题 3.然后就是抄咩~~ 4.肿么可以这样子，都不想写了今儿个，留着作参考吧！拒绝大抄特抄，慢慢一点点写！  
  • apache与php整合 aichenglong php apache web
    一  apache web服务器 1 apeche web服务器的安装   1)下载Apache web服务器   2)配置域名(如果需要使用要在DNS上注册)   3)测试安装访问http://localhost/验证是否安装成功 2 apache管理   1)service.msc进行图形化管理   2)命令管理，配
  • Maven常用内置变量 AILIKES maven
    Built-in properties ${basedir} represents the directory containing pom.xml ${version} equivalent to ${project.version} (deprecated: ${pom.version}) Pom/Project properties Al
  • java的类和对象 百合不是茶 JAVA面向对象 类 对象
    java中的类：     java是面向对象的语言，解决问题的核心就是将问题看成是一个类，使用类来解决   java使用 class 类名   来创建类 ，在Java中类名要求和构造方法，Java的文件名是一样的   创建一个A类： class A{ }   java中的类：将某两个事物有联系的属性包装在一个类中，再通
  • JS控制页面输入框为只读 bijian1013 JavaScript
    在WEB应用开发当中，增、删除、改、查功能必不可少，为了减少以后维护的工作量，我们一般都只做一份页面，通过传入的参数控制其是新增、修改或者查看。而修改时需将待修改的信息从后台取到并显示出来，实际上就是查看的过程，唯一的区别是修改时，页面上所有的信息能修改，而查看页面上的信息不能修改。因此完全可以将其合并，但通过前端JS将查看页面的所有信息控制为只读，在信息量非常大时，就比较麻烦。  
  • AngularJS与服务器交互 bijian1013 JavaScriptAngularJS$http
            对于AJAX应用（使用XMLHttpRequests）来说，向服务器发起请求的传统方式是：获取一个XMLHttpRequest对象的引用、发起请求、读取响应、检查状态码，最后处理服务端的响应。整个过程示例如下： var xmlhttp = new XMLHttpRequest(); xmlhttp.onreadystatechange
  • [Maven学习笔记八]Maven常用插件应用 bit1129 maven
    常用插件及其用法位于：http://maven.apache.org/plugins/   1. Jetty server plugin 2. Dependency copy plugin 3. Surefire Test plugin 4. Uber jar plugin           1. Jetty Pl
  • 【Hive六】Hive用户自定义函数(UDF) bit1129 自定义函数
    1. 什么是Hive UDF Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，包括： 文件格式：Text File，Sequence File 内存中的数据格式： Java Integer/String, Hadoop IntWritable/Text 用户提供的 map/reduce 脚本：不管什么
  • 杀掉nginx进程后丢失nginx.pid，如何重新启动nginx ronin47 nginx 重启 pid丢失
    nginx进程被意外关闭，使用nginx -s reload重启时报如下错误：nginx: [error] open() “/var/run/nginx.pid” failed (2: No such file or directory)这是因为nginx进程被杀死后pid丢失了，下一次再开启nginx -s reload时无法启动解决办法：nginx -s reload 只是用来告诉运行中的ng
  • UI设计中我们为什么需要设计动效 brotherlamp UIui教程ui视频ui资料ui自学
    随着国际大品牌苹果和谷歌的引领，最近越来越多的国内公司开始关注动效设计了，越来越多的团队已经意识到动效在产品用户体验中的重要性了，更多的UI设计师们也开始投身动效设计领域。 但是说到底，我们到底为什么需要动效设计？或者说我们到底需要什么样的动效？做动效设计也有段时间了，于是尝试用一些案例，从产品本身出发来说说我所思考的动效设计。 一、加强体验舒适度 嗯，就是让用户更加爽更加爽的用你的产品。
  • Spring中JdbcDaoSupport的DataSource注入问题 bylijinnan javaspring
    参考以下两篇文章： http://www.mkyong.com/spring/spring-jdbctemplate-jdbcdaosupport-examples/ http://stackoverflow.com/questions/4762229/spring-ldap-invoking-setter-methods-in-beans-configuration Sprin
  • 数据库连接池的工作原理 chicony 数据库连接池
           随着信息技术的高速发展与广泛应用，数据库技术在信息技术领域中的位置越来越重要，尤其是网络应用和电子商务的迅速发展，都需要数据库技术支持动 态Web站点的运行，而传统的开发模式是：首先在主程序（如Servlet、Beans）中建立数据库连接；然后进行SQL操作，对数据库中的对象进行查 询、修改和删除等操作；最后断开数据库连接。使用这种开发模式，对
  • java 关键字 CrazyMizzz java
    关键字是事先定义的，有特别意义的标识符，有时又叫保留字。对于保留字，用户只能按照系统规定的方式使用，不能自行定义。 Java中的关键字按功能主要可以分为以下几类：    （1）访问修饰符       public,private,protected       p
  • Hive中的排序语法 daizj 排序hiveorder byDISTRIBUTE BYsort by
    Hive中的排序语法 2014.06.22 ORDER BY hive中的ORDER BY语句和关系数据库中的sql语法相似。他会对查询结果做全局排序，这意味着所有的数据会传送到一个Reduce任务上，这样会导致在大数量的情况下，花费大量时间。 与数据库中 ORDER BY 的区别在于在hive.mapred.mode = strict模式下，必须指定 limit 否则执行会报错。
  • 单态设计模式 dcj3sjt126com 设计模式
      单例模式（Singleton）用于为一个类生成一个唯一的对象。最常用的地方是数据库连接。 使用单例模式生成一个对象后，该对象可以被其它众多对象所使用。 <?phpclass Example{    // 保存类实例在此属性中    private static&
  • svn locked dcj3sjt126com Lock
    post-commit hook failed (exit code 1) with output: svn: E155004: Working copy 'D:\xx\xxx' locked svn: E200031: sqlite: attempt to write a readonly database svn: E200031: sqlite: attempt to write a
  • ARM寄存器学习 e200702084 数据结构C++cC#F#
    无论是学习哪一种处理器，首先需要明确的就是这种处理器的寄存器以及工作模式。     ARM有37个寄存器，其中31个通用寄存器，6个状态寄存器。 1、不分组寄存器（R0-R7）     不分组也就是说说，在所有的处理器模式下指的都时同一物理寄存器。在异常中断造成处理器模式切换时，由于不同的处理器模式使用一个名字相同的物理寄存器，就是
  • 常用编码资料 gengzg 编码
    List<UserInfo> list=GetUserS.GetUserList(11); String json=JSON.toJSONString(list); HashMap<Object,Object> hs=new HashMap<Object, Object>(); for(int i=0;i<10;i++) {
  • 进程 vs. 线程 hongtoushizi 线程linux进程
    我们介绍了多进程和多线程，这是实现多任务最常用的两种方式。现在，我们来讨论一下这两种方式的优缺点。 首先，要实现多任务，通常我们会设计Master-Worker模式，Master负责分配任务，Worker负责执行任务，因此，多任务环境下，通常是一个Master，多个Worker。 如果用多进程实现Master-Worker，主进程就是Master，其他进程就是Worker。 如果用多线程实现
  • Linux定时Job：crontab -e 与 /etc/crontab 的区别 Josh_Persistence linuxcrontab
    一、linux中的crotab中的指定的时间只有5个部分：* * * * * 分别表示：分钟，小时，日，月，星期，具体说来： 第一段 代表分钟 0—59 第二段 代表小时 0—23 第三段 代表日期 1—31 第四段 代表月份 1—12 第五段 代表星期几，0代表星期日 0—6   如： */1 * * * *   每分钟执行一次。 *
  • KMP算法详解 hm4123660 数据结构C++算法字符串KMP
         字符串模式匹配我们相信大家都有遇过，然而我们也习惯用简单匹配法（即Brute-Force算法)，其基本思路就是一个个逐一对比下去，这也是我们大家熟知的方法，然而这种算法的效率并不高，但利于理解。       假设主串s="ababcabcacbab",模式串为t="
  • 枚举类型的单例模式 zhb8015 单例模式
    E.编写一个包含单个元素的枚举类型[极推荐]。代码如下： public enum MaYun {himself; //定义一个枚举的元素，就代表MaYun的一个实例private String anotherField;MaYun() {//MaYun诞生要做的事情//这个方法也可以去掉。将构造时候需要做的事情放在instance赋值的时候：/** himself = MaYun() {*
  • Kafka+Storm+HDFS ssydxa219 storm
    cd /myhome/usr/stormbin/storm nimbus &amp;bin/storm supervisor &amp;bin/storm ui &amp;Kafka+Storm+HDFS整合实践kafka_2.9.2-0.8.1.1.tgzapache-storm-0.9.2-incubating.tar.gzKafka安装配置我们使用3台机器搭建Kafk
  • Java获取本地服务器的IP 中华好儿孙 javaWeb获取服务器ip地址
    System.out.println("getRequestURL:"+request.getRequestURL()); System.out.println("getLocalAddr:"+request.getLocalAddr()); System.out.println("getLocalPort:&quo
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他