E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
大数据框架flink
【
Flink
源码系列】
Flink
源码:广播流状态源码解析
BroadcastState是OperatorState的一种特殊类型。它的引入是为了支持这样的场景:一个流的记录需要广播到所有下游任务,在这些用例中,它们用于在所有子任务中维护相同的状态。然后可以在处理第二个流的数据时访问这个广播状态,广播状态有自己的一些特性。必须定义为一个Map结构。广播状态只能在广播流侧修改,非广播侧不能修改状态。BroadcastState运行时的状态只能保存在内存中。看
JasonLee实时计算
·
2023-10-22 08:30
Flink
源码系列
java
android
设计模式
flink
spark
Flink
源码解析 —— 深度解析
Flink
Checkpoint 机制
Flink
Checkpoint机制https://t.zsxq.com/ynQNbeM博客1、
Flink
从0到1学习——Apache
Flink
介绍2、
Flink
从0到1学习——Mac上搭建
Flink
1.6.0
zhisheng_blog
·
2023-10-22 07:28
java
Flink
大数据
流式计算
Java
Flink
Flink
源码解析 ——
Flink
JobManager 有什么作用?
JobManager的作用https://t.zsxq.com/2VRrbuf博客1、
Flink
从0到1学习——Apache
Flink
介绍2、
Flink
从0到1学习——Mac上搭建
Flink
1.6.0环境并构建运行简单程序入门
zhisheng_blog
·
2023-10-22 07:28
java
Flink
大数据
流式计算
Java
Flink
flink
的精确一次的实现原理
flink
的精确一次性需要有以下保证:一checkpointcheckpoint是
flink
实现的精确一次性的保证,checkpoint的原理其实与
flink
的watermark是相似的,简而言之是一定时间后触发操作
Drgom
·
2023-10-22 07:26
Flink
flink
flink
中使用GenericWriteAheadSink的优缺点
背景GenericWriteAheadSink是
flink
中提供的实现几乎精确一次输出的数据汇抽象类,本文就来看一下使用GenericWriteAheadSink的优缺点GenericWriteAheadSink
lixia0417mul2
·
2023-10-22 07:55
flink
大数据
flink
大数据
Flink
源码解析(从CliFrontend提交开始)-第一期
序言经过一段时间对于
flink
学习且画了一些源码流程相关的图,决定开一个
flink
源码分析的专栏,该专栏以
flink
onyarn的Per-job模式为基础,基于
flink
1.12.0,以官方SocketWindowWordCount
AiryView
·
2023-10-22 07:54
flink源码系列
大厂之路
大数据
big
data
flink
源码分析
java
Flink
SQL源码解析(一)转换流程
flink
通过javaCC生成分析器用于sql解析和校验。
Yuan_CSDF
·
2023-10-22 07:54
#
Flink源码解析
大数据
flink
Flink
1.13 源码解析 目录汇总
已完成章节
Flink
1.13源码解析前导——Akka通信模型
Flink
1.13源码解析——启动脚本解析
Flink
1.13源码解析——JobManager启动流程概览
Flink
1.13源码解析——JobManager
EdwardsWang丶
·
2023-10-22 07:23
Flink
源码解析
大数据平台-源码解析
大数据平台-架构之道
flink
大数据
flink源码
源码解析
flink
的GenericWriteAheadSink为什么做不到精确一次输出
我们从源码的角度分析一下GenericWriteAheadSink做不到精准一次输出的原因首先我们看一下
flink
检查点完成后通知GenericWriteAheadSink开始进行分段的记录输出并提交事务的代码
lixia0417mul2
·
2023-10-22 07:52
大数据
flink
flink
java
大数据
GenericWriteAheadSink每次checkpoint后事务是否必须成功
背景GenericWriteAheadSink原理是把接收记录按照检查点进行分段,每个到来的记录都放到对应的分段中,这些分段内的记录是作为算子状态的形式存储和故障恢复的,对于每个分段内的记录列表,
flink
lixia0417mul2
·
2023-10-22 07:51
flink
大数据
java
数据库
开发语言
Flink
最佳实践之使用 Canal 同步 MySQL 数据至 TiDB
简介:本文将介绍如何将MySQL中的数据,通过Binlog+Canal的形式导入到Kafka中,继而被
Flink
消费的案例。
阿里云云栖号
·
2023-10-22 06:53
云栖号技术分享
flink
mysql
Flink
CDC调查
Flink
CDC一些参考文档简介https://developer.aliyun.com/article/777502项目wikihttps://github.com/ververica/
flink
-cdc-connectors
andy_1bde
·
2023-10-22 02:53
记一次
Flink
反压问题排查过程
问题出现根据subtask的watermark发现延迟了10几分钟,然后查看是否有异常或者BackPressure的情况最终发现,source->watermarks->filter端三个subtask反压都显示High重启多次,问题依然存在。反压的定位正常任务checkpoint时间端发现非常短反压任务大约可以看出来checkpoint做的时间过程,并且内部基本上是下游的subtask任务耗时比
zhisheng_blog
·
2023-10-22 01:40
java
人工智能
编程语言
多线程
大数据
Flink
之Window窗口机制
窗口Window机制窗口概述窗口的分类是否按键分区按键分区窗口非按键分区按照驱动类型按具体分配规则滚动窗口TumblingWindows滑动窗口SlidingWindows会话窗口SessionWindows全局窗口GlobalWindows时间语义窗口分配器WindowAssigners时间窗口计数窗口例子窗口函数WindowFunctions增量聚合函数ReduceFunctionAggreg
CodeDevMaster
·
2023-10-22 01:01
#
Flink
flink
大数据
数据流
修炼k8s+
flink
+hdfs+dlink(四:k8s(二)架构)
一:节点。1.1为什么使用节点。kubertnetes通过将容器存放在节点(node)上的Pod来执行你的工作负载。所以我们需要提前注册节点。1.2定义。一组工作机器,称为节点,会运行容器化应用程序。每个集群至少有一个工作节点。1.3怎么使用node节点1.3.1增加节点。节点上的kubelet向控制面板自注册。–register-node为true可选参数--kubeconfig-用于向API服
宇智波云
·
2023-10-21 18:00
k8s
kubernetes
flink
hdfs
iceberg-
flink
十一:在dlink代码中建表增加catalog地址。
一:catalog是存储元数据的地方。二:表中增加catalog地址’当我们映射iceberg表的时候,增加了地址,就会成功映射到表CREATECATALOGdk_empowerWITH('type'='iceberg','catalog-type'='hadoop','warehouse'='hdfs://cluster/iceberg/warehouse/iceberg_hadoop/dk_e
宇智波云
·
2023-10-21 18:29
flink
数据库
大数据
k8s No Route to Host from xxx to xxx failed on socket timeout exception
背景:从dlink发布
flink
onyarn任务失败,报:NoRoutetoHostfromxxxtoxxxfailedonsockettimeoutexception,但两个pod相互ping的通,并且通过脚本
胖胖胖胖胖虎
·
2023-10-21 18:26
大数据组件
K8S
hadoop
大数据
hdfs
Flink
问题记录
生产上的坑才是真的坑|盘一盘
Flink
那些经典线上问题https://mp.weixin.qq.com/s?
胖胖胖胖胖虎
·
2023-10-21 18:56
Flink
flink
java
大数据
修炼k8s+
flink
+hdfs+dlink(六:学习k8s)
一:增(创建)。直接进行创建。kubectlrunnginx--image=nginx使用yaml清单方式进行创建。二:删除。kubectldeletepods/nginx三:修改。kubectlexec-itmy-nginx–/bin/bash四:查看。查看所有pod。`kubectlgetpods`.kubectlgetpod-owide查看某个pod的创建信息。kubectldescribe
宇智波云
·
2023-10-21 18:54
kubernetes
flink
学习
FLINK
-启动命令2(Application 模式) -Dyarn.provided.lib.dirs
1.背景
flink
-1.11引入了一种新的部署模式,即Application模式。目前,
flink
-1.11已经可以支持基于Yarn和Kubernetes的Application模式。
CarloPan
·
2023-10-21 18:54
flink
24、
Flink
的table api与sql之Catalogs(java api操作分区与函数、表)-4
Flink
系列文章1、
Flink
部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、
Flink
的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan
·
2023-10-21 16:05
#
Flink专栏
flink
sql
flink
sql
flink
hive
flink
api
flink
流批一体化
flink
catalogs
Flink
多并行度下WaterMark的设计区别
问题的提出对于WaterMark设计的位置是否会影响窗口的正常开闭?下面我模拟了两种情景(source并行度为1,map并行度为2),分别是1.在source后设置watermark,经过map后开窗2.在map后设置watermark,然后开窗ps:下面的两种代码我都设置了自然增长的watermark,窗口时间都是5秒,只是设置watermark的位置不同watermark是testWM对象的t
徐一闪_BigData
·
2023-10-21 13:53
flink
大数据
flink
水印没有触发窗口结束计算问题详解
文章目录前言1.watermark特点2.窗口触发的条件窗口的划分窗口及水印触发的解释3.代码4.测试数据源5.遇到的问题6.问题排查7.问题解决前言先说下水印的基本概念,对后面理解有帮助1.watermark特点1.watermark并不是event的一个属性,而是一条特殊的数据记录(只用来触发窗口结束,不参与数据计算)2.watermark必须单调递增,以确保任务的事件时间时钟在向前推进,而不
我要去学习了
·
2023-10-21 13:52
flink
大数据
flink
Flink
(十)窗口计算
一、简介窗口计算:
flink
的灵魂窗口计算就是把无界数据流切分为有限大小的“bucket”—>窗口(bucket/window/panel),在窗口上应用计算换上完成计算处理核心:窗口的划分和计算我们经常需要在一个时间窗口维度上对数据进行聚合
小雨光
·
2023-10-21 13:21
大数据
flink
大数据
Flink
窗口
窗口:在上一章中已经了解了
Flink
中事件时间和水位线的概念,那它们有什么具体应用呢?当然是做基于时间的处理计算了。其中最常见的场景,就是窗口聚合计算。之前我们已经了解了
Flink
中基本的聚合操作。
jxj_cd
·
2023-10-21 13:48
flink
大数据
Flink
窗口无法触发问题排雷
1.序篇-先说结论博主希望你在看完本文后一定要养成这个编程习惯:使用DataStreamAPI实现
Flink
任务时,WatermarkAssigner能靠近Source节点就靠近Source节点,尽量前置
野狼e族
·
2023-10-21 13:17
Flink
大数据
大数据
flink
Flink
代码这么写,窗口能触发才怪(不良编程习惯)
博主希望你在看完本文后一定要养成这个编程习惯:使用DataStreamAPI实现
Flink
任务时,WatermarkAssigner能靠近Source节点就靠近Source节点,尽量前置。
大数据羊说
·
2023-10-21 13:47
Apache
Flink
实时计算
实战技巧
flink
大数据
big
data
Flink
1.11 多并行度watermark测试
source单并行度参考https://blog.csdn.net/xu470438000/article/details/83271123结论:###窗口触发条件1、watermark时间>=window_end_time2、在[window_start_time,window_end_time)中有数据存在###对于设置了allowedLateness(Time.seconds(N))的1.第
me凡
·
2023-10-21 13:47
Flink数据写入数据库
flink1.11
watermark
多并行度
Flink
多并行度与WaterMark
Flink
多并行度与WaterMark最近在复习
flink
的时候,发现之前写的demo全是单并行度,突发奇想多并行度下的窗口触发是否与单并行度相同?故而就引申出了下列一些列问题。
code汤
·
2023-10-21 13:45
大数据
flink
flink
big
data
大数据
Flink
: 窗口计算
文章目录Event-timeWindowEventTimeWatermark-水位线迟到数据Event-timeWindowEventTime
Flink
在流计算的过程中,支持多种时间概念。
McGrady_Durant
·
2023-10-21 13:14
大数据
flink
Flink
单并行度消费kafka触发窗口计算问题
Flink
单并行度消费kafka触发窗口计算问题基本信息验证:生产者发送消息:窗口统计代码(并行度设为1):最终窗口输出结果:调整并行度与topic一致基本信息
flink
版本1.11问题:
flink
上游数据源为
HugeBitter
·
2023-10-21 13:43
Flink
入门
flink
kafka
基于Flume+Kafka+Hbase+
Flink
+FineBI的实时综合案例(五)FineBI可视化
文章目录22:FineBI配置数据集23:FineBI构建报表24:FineBI实时配置测试附录二:离线消费者完整代码22:FineBI配置数据集目标:实现FineBI访问MySQL结果数据集的配置实施安装FineBI参考《FineBIWindows版本安装手册.docx》安装FineBI配置连接数据连接名称:Momo用户名:root密码:自己MySQL的密码数据连接URL:jdbc:mysql:
大模型Maynor
·
2023-10-21 13:42
#
Flink
flume
kafka
hbase
增加并行度后,发现
Flink
窗口不会计算的问题。
一、现象
Flink
使用了window,同时使用了watermark,并且还设置了较高的并行度。生产是设置了300的并行度,并且接入了几十个topic,这个地方划重点,后面会提到。
T_Antry
·
2023-10-21 13:41
flink
大数据
大数据测试 - 数仓测试
前言对于数据仓库的测试来说底层的系统会有很多有自建的集群使用spark或者
flink
测试,也有很多直接使用云厂商的产品比如datworks等等,再这里我想分享下抛开环境,只对数据仓库测试的一些小心得。
测试界的飘柔
·
2023-10-21 10:11
软件测试
职场经验
IT
数据仓库
大数据
数据挖掘
程序人生
自动化测试
软件测试
面试
Flink
之常用处理函数
常用处理函数处理函数概述基本处理函数ProcessFunction介绍使用示例按键分区处理函数KeyedProcessFunction介绍定时器Timer和定时服务TimerService使用示例其他窗口处理函数ProcessWindowFunction介绍ProcessAllWindowFunction介绍使用示例流的合并处理函数CoProcessFunction介绍使用示例流的联结处理函数窗口
CodeDevMaster
·
2023-10-21 07:29
#
Flink
flink
java
大数据
大数据平台开发经验
如果我是一个有着10年大数据平台开发经验的开发者,面试时可能需要准备以下知识大数据生态系统:**熟悉大数据技术栈,如Hadoop、Spark、
Flink
等,了解它们的原理、用途和优劣势。
三思而后行,慎承诺
·
2023-10-21 07:04
架构
大数据
基于Flume+Kafka+Hbase+
Flink
+FineBI的实时综合案例(三)离线分析
文章目录08:离线分析:Hbase表设计及构建09:离线分析:Kafka消费者构建10:离线分析:Hbase连接构建11:离线分析:Rowkey的构建12:离线分析:Put数据列构建13:离线分析:存储运行测试14:离线分析:Hive关联测试15:离线分析:Phoenix关联测试08:离线分析:Hbase表设计及构建目标:掌握Hbase表的设计及创建表的实现路径step1:基础设计step2:Ro
大模型Maynor
·
2023-10-21 03:43
#
Flink
flume
kafka
hbase
0基础学习Py
Flink
——模拟Hadoop流程
学习大数据还是绕不开始祖级别的技术hadoop。我们不用了解其太多,只要理解其大体流程,然后用python代码模拟主要流程来熟悉其思想。还是以单词统计为例,如果使用hadoop流程实现,则如下图。为什么要搞这么复杂呢?顾名思义,“大数据”意味着庞大的数据量需要计算。提升计算效率的方法无非如下:更高效的算法更高频率的处理器更多的可并行执行的流程更多的处理器“更多的可并行执行的流程”意味着不同计算流程
breaksoftware
·
2023-10-20 23:07
大数据
hadoop
python
flink
Flink
MeetUp 总结
Flink
MeetUp总结小小的总结一下,今天这场
flink
meetUp想去的原因呢,很简单--在家有点无聊,想出去走走.然后就约了这场分享会,定了下去上海的高铁票.出行之时,还出现了点小插曲.原来以为的是
长脖子树
·
2023-10-20 22:01
Flink
使用之 CDC 自定义 DeserializationSchema
Flink
使用介绍相关文档目录
Flink
使用介绍相关文档目录背景本篇接
Flink
使用之MySQLCDC。
AlienPaul
·
2023-10-20 21:27
Flink
计算(工作记录)-多流合并
//创建参数工具,用于从命令行参数中读取配置信息publicstaticvoidmain(String[]args)throwsException{finalParameterToolparameterTool=ExecutionEnvUtil.createParameterTool(args);//1、创建流式执行环境StreamExecutionEnvironmentenv=Execution
Alecor
·
2023-10-20 17:01
flink
大数据
Flink
CDC for mysql to Clickhouse
完整依赖org.apache.
flink
flink
-core1.13.0org.apache.
flink
flink
-streaming-java_2.121.13.0-->org.apache.
flink
Alecor
·
2023-10-20 17:53
mysql
clickhouse
数据库
Flink
实战之Kafka To Hive
Flink
完全基于流式处理,同时也支持了写Hive表。本文介绍一下如果通过
Flink
SQL实现kafka数据入库hive,并能够实时可查。
〇白衣卿相〇
·
2023-10-20 17:45
基于Flume+Kafka+Hbase+
Flink
+FineBI的实时综合案例(二)数据源
文章目录04:数据源05:技术架构及技术选型06:Flume的回顾及安装07:Flume采集程序开发04:数据源目标:了解数据源的格式及实现模拟数据的生成路径step1:数据格式step2:数据生成实施数据格式消息时间发件人昵称发件人账号发件人性别发件人IP发件人系统发件人手机型号发件人网络制式发件人GPS收件人昵称收件人IP收件人账号收件人系统收件人手机型号收件人网络制式收件人GPS收件人性别消
大模型Maynor
·
2023-10-20 15:38
#
Flink
flume
kafka
hbase
Flink
On Yarn 模式部署提交
Flink
OnYarn模式部署提交一、环境准备Ubuntuhadoop2.6.0(官网下载)
Flink
1.12.2jdk8二、Hadoop完全分布式-yarn配置永久关闭防火墙修改主机名vim/etc/
Anthons
·
2023-10-20 15:07
通俗了解
Flink
的几个核心概念
做
Flink
做了好几年,让我感触最深的是,虽然写了
Flink
代码好多年,但是要让我通俗易懂地将
Flink
的重要的核心概念串起来,我一时还真找不到切入点,好多人可能跟我一样,脑子里对于
Flink
的知识是散的
美得冒泡oooo
·
2023-10-20 13:29
基于Flume+Kafka+Hbase+
Flink
+FineBI的实时综合案例(四)实时计算需求及技术方案
文章目录16:实时计算需求及技术方案17:
Flink
的基本介绍18:代码模块构建19:省份解析工具类测试20:
Flink
代码解读21:
Flink
实时计算测试16:实时计算需求及技术方案目标:了解实时计算需求及技术方案路径
大模型Maynor
·
2023-10-20 13:30
#
Flink
flume
kafka
hbase
py
flink
环境测试以及测试案例
1.py的环境以来采用Anaconda环境包安装版本:https://www.anaconda.com/distribution/#download-sectionPython3.8.8版本:Anaconda3-2021.05-Linux-x86_64.sh下载地址https://repo.anaconda.com/archive/2.安装bashAnaconda3-2021.05-Linux-x
wudl5566
·
2023-10-20 13:17
Flink
chrome
前端
Flink
之Watermark水印、水位线
Watermark水印、水位线水位线概述水印本质生成WatermarkWatermark策略WatermarkStrategy工具类使用Watermark策略内置Watermark生成器单调递增时间戳分配器固定延迟的时间戳分配器自定义WatermarkGenerator周期性Watermark生成器标记Watermark生成器Watermark策略与Kafka连接器其他处理空闲数据源并行度下的水位
CodeDevMaster
·
2023-10-20 12:05
#
Flink
flink
大数据
数据流
Flink
-CDC|可以替代Canal的数据同步方案-尚硅谷Java培训
1、CDC简介CDC是ChangeDataCapture(变更数据获取)的简称。核心思想是,监测并捕获数据库的变动(包括数据或数据表的插入、更新以及删除等),将这些变更按发生的顺序完整记录下来,写入到消息中间件中以供其他服务进行订阅及消费。CDC主要分为基于查询和基于Binlog两种方式,我们主要了解一下这两种之间的区别:基于查询的CDC基于Binlog的CDC开源产品Sqoop、KafkaJDB
尚硅谷铁粉
·
2023-10-20 12:03
java
flink
数据库
上一页
52
53
54
55
56
57
58
59
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他