E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Flink源码学习
Flink
2.0 状态管理存算分离架构演进
本文整理自阿里云智能
Flink
存储引擎团队负责人梅源在
Flink
ForwardAsia2023的分享,梅源结合阿里内部的实践,分享了状态管理的演进和
Flink
2.0存算分离架构的选型。
Apache Flink
·
2024-01-27 07:46
flink
架构
大数据
Flink
事件时间与处理时间
Flink
在数据流中支持几种不同概念的时间。1.处理时间ProcessingTime(处理时间)是指执行相应操作的机器系统时间,是操作算子在计算过程中获取到的所在主机的系统时间。
qq_489366879
·
2024-01-27 07:42
flink
大数据
flink
-源码探索-RPC-分析
背景介绍:对
flink
整个流程进行分析,首先第一步需要了解每个组件之前的通讯方式,以及调用的流程,这样就可以对后面研究的代码,主要分析
flink
1.14.2比较新的版本。
slow-wing
·
2024-01-27 07:11
flink探索笔记
技术分享
flink
rpc
p2p
95-080-046-源码-启动-
flink
-daemon.sh
1.视界2.启动lcc@lcc
flink
-1.9.0$bin/start-cluster.shStartingcluster.Startingstandalonesessiondaemononhostlcc.Startingtaskexecutordaemononhostlcc
九师兄
·
2024-01-27 07:11
大数据-flink
flink
-windows下源码编译、启动、调试
前言想要快速上手了解一个项目,就需要先把项目跑起来:p)
flink
最新分支版本是release-1.11,但是此版本还未支持windows启动脚本(原因可能是大佬都用mbp),所以本次使用支持windows
wigen
·
2024-01-27 07:40
flink
flink
java
大数据技术之
Flink
-CDC
第1章CDC简介1.1什么是CDCCDC是ChangeDataCapture(变更数据获取)的简称。核心思想是,监测并捕获数据库的变动(包括数据或数据表的插入、更新以及删除等),将这些变更按发生的顺序完整记录下来,写入到消息中间件中以供其他服务进行订阅及消费。1.2CDC的种类CDC主要分为基于查询和基于Binlog两种方式,我们主要了解一下这两种之间的区别:基于查询的CDC基于Binlog的CD
莱恩大数据
·
2024-01-27 07:35
大数据训练营
flink
大数据
big
data
Flink
源码剖析:
flink
-streaming-java 之 JobGraph
2.1JobVertex2.2JobEdge2.3IntermediateDataSet2.4StreamConfig2.5StreamGraph到JobGraph的核心转换3.自带WordCount示例详解本文主要围绕
Flink
Matty_Blog
·
2024-01-27 07:04
Flink
flink
-start源码
jobSubmittestCsefinalStreamExecutionEnvironmentenv=newStreamExecutionEnvironment(configuration);//将算子添加进transformArrayList中env.fromCollection(Collections.singletonList(42)).addSink(newDiscardingSinkjo
jiayeliDoCn
·
2024-01-27 07:30
flink
大数据
[AIGC大数据基础]
Flink
: 大数据流处理的未来
Flink
是一个分布式流处理引擎,它被广泛应用于大数据领域,具有高效、可扩展和容错的特性。它是由Apache软件基金会开发和维护的开源项目,并且在业界中受到了广泛认可和使用。
程序员三木
·
2024-01-27 07:28
大后端
AI
大数据
AIGC
flink
【大数据】
Flink
中的事件时间处理
Flink
中的事件时间处理1.时间戳2.水位线3.水位线传播和事件时间4.时间戳分配和水位线生成在之前的博客中,我们强调了时间语义对于流处理应用的重要性并解释了处理时间和事件时间的差异。
G皮T
·
2024-01-27 07:57
#
Flink
大数据
flink
watermark
时间戳
水位线
事件时间
Flink
1.13 容错机制
状态的一致性当在分布式系统中引入状态时,自然也引入了一致性问题。一致性实际上是"正确性级别"的另一种说法,也就是说在成功处理故障并恢复之后得到的结果,与没有发生任何故障时得到的结果相比,前者到底有多正确?举例来说,假设要对最近一小时登录的用户计数。在系统经历故障之后,计数结果是多少?如果有偏差,是有漏掉的计数还是重复计数?一致性级别在流处理中,一致性可以分为3个级别:at-most-once(最多
万事万物
·
2024-01-27 07:39
Flink
集成 Debezium Confluent Avro ( format=debezium-avro-confluent )
博主历时三年精心创作的《大数据平台架构与原型实现:数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行,点击《重磅推荐:建大数据平台太难了!给我发个工程原型吧!》了解图书详情,京东购书链接:https://item.jd.com/12677623.html,扫描左侧二维码进入京东手机购书页面。本文介绍的场景是:使用KafkaConnect的DebeziumMySQLSourc
Laurence
·
2024-01-27 06:54
大数据专题
付费专栏
flink
cdc
debezium
avro
confluent
schema-registry
kafka
Flink
基础系列28-
Flink
容错机制
一.一致性检查点(checkpoint)image.png
Flink
故障恢复机制的核心,就是应用状态的一致性检查点有状态流应用的一致检查点,其实就是所有任务的状态,在某个时间点的一份拷贝(一份快照);1
只是甲
·
2024-01-27 05:33
Kafka3.0
源码学习
文章目录一、生产者源码1、初始化2、发送数据到缓冲区2.1发送总体流程2.2分区选择2.3发送消息大小校验2.4内存池3、sender线程发送数据二、消费者源码1、初始化2、消费者订阅主题3、消费者拉取和处理数据3.1消费总体流程3.2消费者/消费者组初始化3.3拉取数据3.4消费者Offset提交三、服务端源码kafka官网:https://kafka.apache.org/downloads一
魅Lemon
·
2024-01-27 04:25
大数据
kafka
Flink
Checkpoints 翻译
英文原址https://ci.apache.org/projects/
flink
/
flink
-docs-master/ops/state/checkpoints.html概述Checkpoints保存了流插入屏障时的位置及所有节点处理完该屏障的状态
晚熟的程序员
·
2024-01-27 04:33
CDH 6.3.2 Parcel 包安装 Apache
Flink
1.10.2
CDH6.3.2Parcel包安装Apache
Flink
1.10.2文档材料介质路径调整Maven配置文件编译
Flink
1.创建服务目录2.下载介质3.编译
Flink
Shaded制作Pacel包配置
Flink
Parcel1
JP.Hu
·
2024-01-26 19:37
Flink
apache
flink
大数据
Flink
基础入门
前言SparkStreaming准确来说算是一个微批处理伪实时的做法,可是
Flink
是真的来一条就会处理一条,而且在SparkStreaming和Kafka进行整合时我们需要手动去管理偏移量的问题,而在
IT领域君
·
2024-01-26 19:28
第二课
Flink
安装部署、环境配置及运行应用程序(2)
上接第二课
Flink
安装部署、环境配置及运行应用程序(1)视频地址【Apache
Flink
入门教程】3.
Flink
安装部署、环境配置及运行应用程序_哔哩哔哩_bilibiliApache
Flink
China
起名-困难户
·
2024-01-26 18:26
Flink
flink
大数据
【
Flink
】记录
Flink
任务单独设置配置文件而不使用集群默认配置的一次实践
该环境已经默认添加了
Flink
onYarn的客户端配置。我们的
Flink
任务类型是
Flink
onYarn的任务。默认的配置文件是在/etc/
flink
/conf目录下。
kiraraLou
·
2024-01-26 18:54
Flink
flink
大数据
Spring SpEL在
Flink
中的应用-与FlatMap结合实现数据动态计算
文章目录前言一、POM依赖二、主函数代码示例三、RichFlatMapFunction实现总结前言SpEL表达式与
Flink
FlatMapFunction或MapFunction结合可以实现基于表达式的简单动态计算
shandongwill
·
2024-01-26 15:07
#
Flink
大数据
spring
flink
java
59、
Flink
CEP -
Flink
的复杂事件处理介绍及示例(完整版)
Flink
系列文章一、
Flink
专栏
Flink
专栏系统介绍某一知识点,并辅以具体的示例进行说明。1、
Flink
部署系列本部分介绍
Flink
的部署、配置相关基础内容。
一瓢一瓢的饮 alanchanchn
·
2024-01-26 12:50
#
Flink专栏
flink
大数据
kafka
flink
hive
flink
sql
flink
kafka
flink
cep
手把手教你快速掌握连接远程git仓库or赋值远程仓库到本地并上传代码到gitee
然后去我的新建一个仓库,这里是演示一下新手第一次操作的流程2.2设置仓库名称完成创建(这里的库名随便输入看自己):2.3打开gitbash配置用户名,邮箱,ssh公钥这里的用户名是git个人注册的用户名成如这里是git
flink
2.4
澄绪猿
·
2024-01-26 09:25
git
gitee
Flink
Checkpoint 超时问题和解决办法
第一种、计算量大,CPU密集性,导致TM内线程一直在processElement,而没有时间做CP【过滤掉部分数据;增大并行度】代表性作业为算法指标-用户偏好的计算,需要对用户在商城的曝光、点击、订单、出价、上下滑等所有事件进行比例计算,并且对各个偏好值进行比例计算,事件时间范围为近24小时。等于说每来一条数据,都需要对用户近24小时内所有的行为事件进行分类汇总,求比例,再汇总,再求比例,而QPS
后季暖
·
2024-01-26 09:22
flink
大数据
Flink
State backend状态后端
概述
Flink
在v1.12到v1.14的改进当中,其状态后端也发生了变化。
小枫@码
·
2024-01-26 08:43
Flink
flink
大数据
Flink
问题解决及性能调优-【
Flink
不同并行度引起sink2es报错问题】
最近需求,仅想提高sink2es的qps,所以仅调节了sink2es的并行度,但在调节不同算子并行度时遇到一些问题,找出问题的根本原因解决问题,并分析整理。实例代码--SETtable.exec.state.ttl=86400s;--24hour,默认:0msSETtable.exec.state.ttl=2592000s;--30days,默认:0msCREATETABLEkafka_table
PONY LEE
·
2024-01-26 08:12
Flink问题解决及性能调优
flink
大数据
Flink
多流转换(2)—— 双流连结
双流连结(Join):根据某个字段的值将数据联结起来,“配对”去做处理窗口联结(WindowJoin)可以定义时间窗口,并将两条流中共享一个公共键(key)的数据放在窗口中进行配对处理代码逻辑首先需要调用DataStream的.join()方法来合并两条流,得到一个JoinedStreams;接着通过.where()和.equalTo()方法指定两条流中联结的key;然后通过.window()开窗
THE WHY
·
2024-01-26 08:42
大数据
Flink
flink
java
服务器
大数据
Flink
窗口类型功能汇总
Flink
窗口类型功能汇总
Flink
中的WindowAssigner有多种实现类,每种实现类都有不同的作用。
公子乂
·
2024-01-26 08:11
flink
java
前端
【大数据】
Flink
中的数据传输
Flink
中的数据传输1.基于信用值的流量控制2.任务链接在运行过程中,应用的任务会持续进行数据交换。TaskManager负责将数据从发送任务传输至接收任务。
G皮T
·
2024-01-26 08:38
#
Flink
大数据
flink
数据传输
缓冲
任务链接
流量控制
信用值
数据中台的护城河,基于
Flink
实时构建数据仓
数据中台的护城河:基于
Flink
实时构建数据仓在数字化时代,数据已经成为企业的重要资产之一。为了更好地利用数据资源,许多企业都建立了自己的数据中台。
UI设计前端开发一线员工
·
2024-01-26 08:38
flink
数据库
大数据
Flink
重启策略
当任务失败时,
Flink
需要重新启动失败的任务和其他受影响的任务,才能将任务恢复到正常状态。
sf_www
·
2024-01-26 08:38
flink
flink
大数据
big
data
flink
中的重启策略
背景在
flink
宣布作业失败的时候往往会进行重试,本文就来记录下
flink
中的几种重启策略
flink
失败重启策略1.固定延时重启这种重启策略会重启固定的次数,每两次重启之间会间隔固定的时间间隔,如果失败次数达到了配置的次数限制
lixia0417mul2
·
2024-01-26 08:34
flink
flink
大数据
流式湖仓增强,Hologres +
Flink
构建企业级实时数仓
2023年12月,由阿里云主办的实时计算闭门会在北京举行,阿里云实时数仓Hologres研发负责人姜伟华现场分享Hologres+
Flink
构建的企业级实时数仓,实现全链路的数据实时计算、实时写入、实时更新
Apache Flink
·
2024-01-26 06:15
flink
大数据
基于
Flink
的实时数仓在曹操出行运营中的应用
本文整理自曹操出行基础研发部负责人史何富,在
Flink
ForwardAsia2023主会场的分享。
Apache Flink
·
2024-01-26 06:15
flink
大数据
阿里云
Flink
sql 基本使用手册
参考文档参考实时计算
Flink
版-帮助中心-阿里云https://help.aliyun.com/product/45029.html1维度表CREATETEMPORARYTABLEdatahub_source
中本聪
·
2024-01-26 06:38
互联网
阿里云
flink
sql
blink
大数据
阿里云
Flink
原理分析与应用:深入探索 MongoDB Schema Inference
本文整理自阿里云
Flink
团队归源老师关于阿里云
Flink
原理分析与应用:深入探索MongoDBSchemaInference的研究,内容主要分为以下四部分:MongoDB简介社区MongoDBCDC核心特性
Apache Flink
·
2024-01-26 06:25
阿里云
flink
mongodb
Apache
Flink
1.13.x HA集群部署
Flink
简介
Flink
起源于Stratosphere项目,Stratosphere是在2010~2014年由3所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目,2014年4月Stratosphere
willops
·
2024-01-26 04:52
bigdata
hadoop
大数据
【尚硅谷Java版】
Flink
1.13之自定义Source
【尚硅谷Java版】
Flink
1.13之自定义Source一、基础环境上一篇文章(地址:https://blog.csdn.net/junR_980218/article/details/125798564
努力搬砖的猪头
·
2024-01-26 04:22
从0到1学Flink
java
flink
Flink
1.13集成Hadoop3.x以上版本
文章目录背景说明出现问题问题分析问题解决解决展示参考资料背景说明在搭建
Flink
的HA高可用集群后,打不开webUI界面出现问题打开log日志查看org.apache.
flink
.core.fs.UnsupportedFileSystemSchemeException
未来影子
·
2024-01-26 04:22
Flink
hadoop
hdfs
flink
flink
1.13.0 环境搭建
#
flink
部署1.standalone模式2.yarn模式session-cluster模式job-cluster模式3.k8s模式注:yarn模式需要依赖hadoop环境,搭建请参考:https:/
AinUser
·
2024-01-26 04:50
flink
hadoop
flink
yarn
k8s
standalone
Flink
1.13.x+iceberg环境搭建
1.安装hadooptar-zxvfhadoop-2.10.1.tar.gz配置JDK和Hadoop环境变量vi/etc/profileexportJAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.232.b09-0.el7_7.x86_64exportPATH=$PATH:$JAVA_HOME/binexportHADOOP_HOME=/home/h
姚贤贤
·
2024-01-26 02:22
大数据
flink
hive
hadoop
iceberg
1.13
flink
1.13.x集成 CDC 2.3.0
使用
flink
1.13.0和CDC2.3.0的demopublicclassTMySqlCDC{publicstaticvoidmain(String[]args)throwsException{StreamExecutionEnvironmentenv
夏夏夏果
·
2024-01-26 02:22
flink
源码篇
大数据
flink
数据库
mysql
大数据
Flink
1.13部署指南:深入解析单机与集群模式
目录运行模式1.会话模式(SessionMode)2.单作业模式(Per-JobMode)3.应用模式(App
数据与后端架构提升之路
·
2024-01-26 02:21
#
Flink
kubernetes
运维
大数据
Flink
报错NoSuchMetchod的错误
问题原因一般有两种:确实没有这个jar包导致
Flink
版本和connector版本不一致导致我的问题是
Flink
版本和Connector版本不一致导致的,其实
Flink
服务端用的版本是1.9.0,而kafkaConnector
斗鱼_191f
·
2024-01-26 02:32
【Redis
源码学习
】浅析redis中的IO多路复用机制
我们知道,我们在使用redis的时候,通过客户端发送一个get命令,就能够得到redis服务端返回的数据。redis是基于传统的C/S架构实现的。它通过监听一个TCP端口(6379)的方式来接收来自客户端的连接,从而进行后续命令的执行,并把执行结果返回给客户端。redis是一个合格的服务端程序我们先思考一个问题:作为一个合格的服务端程序,我们在命令行输入一个get命令之后,redis服务端是怎么处
linux大本营
·
2024-01-25 22:08
linux
c++
redis
Flink
10:
Flink
支持的数据类型
Flink
流应用程序处理的是以数据对象表示的事件流。所以在
Flink
内部,我们需要能够处理这些对象。它们需要被序列化和反序列化,以便通过网络传送它们;或者从状态后端、检查点和保存点读取它们。
勇于自信
·
2024-01-25 22:46
Flink
基础系列24-
Flink
的Window
一.
Flink
Window1.1概述image.pngstreaming流式计算是一种被设计用于处理无限数据集的数据处理引擎,而无限数据集是指一种不断增长的本质上无限的数据集,而window是一种切割无限数据为有限块进行处理的手段
只是甲
·
2024-01-25 22:53
Flink
源码之新 Source 架构
Flink
源码分析系列文档目录请点击:
Flink
源码分析系列文档目录背景
Flink
原先数据源一直使用的是SourceFunction。
AlienPaul
·
2024-01-25 21:39
基于 Hologres+
Flink
的曹操出行实时数仓建设
云布道师曹操出行创立于2015年5月21日,是吉利控股集团布局“新能源汽车共享生态”的战略性投资业务,以“科技重塑绿色共享出行”为使命,将全球领先的互联网、车联网、自动驾驶技术以及新能源科技,创新应用于共享出行领域,以“用心服务国民出行”为品牌主张,致力于打造服务口碑最好的出行品牌。曹操出行业务背景介绍作为一家互联网出行平台,主要提供了网约车、顺风车、专车等一些出行服务。打车为其主要的一个业务场景
云布道师
·
2024-01-25 20:23
阿里云
Spring SpEL在
Flink
中的应用-与Filter结合实现数据动态分流
文章目录前言一、POM依赖二、主函数代码示例三、FilterFunction实现总结前言SpEL表达式与
Flink
fiter结合可以实现基于表达式的灵活动态过滤。
shandongwill
·
2024-01-25 19:44
#
Flink
大数据
flink
java
大数据
后端
按键分区处理函数(KeyedProcessFunction)
目录按键分区处理函数1.定时器(Timer)和定时服务(TimerService)2.KeyedProcessFunction的使用按键分区处理函数在
Flink
程序中,为了实现数据的聚合统计或开窗计算等功能
佛系爱学习
·
2024-01-25 18:31
flink知识点
大数据
flink
上一页
8
9
10
11
12
13
14
15
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他