E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
flink数据湖
实时计算框架
Flink
在教育行业的应用实践
如今,越来越多的业务场景要求OLTP系统能及时得到业务数据计算、分析后的结果,这就需要实时的流式计算如
Flink
等来保障。
Java架构师CAT
·
2024-02-10 09:20
Flink
快照分析:定位大状态和数据倾斜的算子
在
Flink
作业中,无论是SQL还是JAR模式,常常会直接或者间接地使用到状态(State)。当
Flink
进行快照时,用户定义的这些状态数据可以被保存在状态点中,以供后续的崩溃恢复。
程序员的隐秘角落
·
2024-02-10 09:06
夜天之书 #42 开源社群简明分类
例如为Apache
Flink
编写各种数据源的连接器
_tison
·
2024-02-10 08:56
java
人工智能
python
大数据
编程语言
Flink
核心技术浅析
1.
Flink
简介Apache
Flink
是一个面向分布式数据流处理和批量数据处理的开源计算平台,它能够基于同一个
Flink
流执行引擎(streamingdataflowengine),提供支持流处理和批处理两种类型应用的功能
活长擅运动
·
2024-02-10 00:41
Flink
Table API&SQL编程指南之时间属性(3)
Flink
总共有三种时间语义:Processingtime(处理时间)、Eventtime(事件时间)以及Ingestiontime(摄入时间)。
大数据技术与数仓
·
2024-02-10 00:33
新人数据技术如何快速提升
对于数据平台和工具而言,一般情况下都是在Hadoop生态下做开发,但对于一些有特殊要求的团队,Spark和
Flink
已经得
晓阳的数据小站
·
2024-02-09 23:46
数据开发
数据
6.一文搞定
Flink
的多流转换
1.前言在之前的文章当中,我针对于
Flink
中状态相关的一系列内容按照我自己理解的方式进行了讲述,但是单纯从我写的内容上看,貌似都是围绕着单条流进行计算的,所以在感官上就很不全面,所以我就准备在这篇文章当中
迷茫的小黑狗
·
2024-02-09 19:12
初识kafka
目前越来越多的开源分布式处理系统如Cloudera、Storm、Spark、
Flink
等都支持与Kafka集成。
tracy_668
·
2024-02-09 14:07
Flink
从入门到实践(一):
Flink
入门、
Flink
部署
2)demo1:批处理(离线处理)(3)demo2-lambda优化:批处理(离线处理)(4)demo3:流处理(实时处理)(5)总结:实时vs离线(6)demo4:批流一体(7)对接Socket二、
Flink
秃了也弱了。
·
2024-02-09 12:52
大数据:Flink
flink
大数据
Flink
从入门到实践(二):
Flink
DataStream API
文章目录系列文章索引三、DataStreamAPI1、官网2、获取执行环境(Environment)3、数据接入(Source)(1)总览(2)代码实例(1.18版本已过时的)(3)使用Source接口4、数据处理(Transformation)(1)总览(2)Map(后续用该结果测试)(3)Filter(4)FlatMap(5)KeyBy(6)Reduce(7)Union(8)Connect(9
秃了也弱了。
·
2024-02-09 08:48
大数据:Flink
flink
大数据
Apache
Flink
前言最近在学习室内融合定位服务架构,业务架构上,涵盖了数据采集、处理、状态管理、实时计算和告警等多个方面,但有些问题:这套系统中包含了大量的有状态计算,目前是通过自设计内存对象进行管理,并利用Redis进行状态共享。这种方法要求开发者使用Java的并发工具,手动实现状态的持久化和恢复逻辑,这既复杂又容易出错。此外,当应用需要扩展或缩小时,开发者需要手动设计和实现多实例的适配,考虑内存对象的分配和平
DevDiary
·
2024-02-09 07:24
flink
大数据
使用 Kubernetes 部署
Flink
应用
作者:薄荷脑https://blog.csdn.net/zjerryj/article/details/100063858大数据技术与架构点击右侧关注,大数据开发领域最强公众号!暴走大数据点击右侧关注,暴走大数据!By大数据技术与架构场景描述:Kubernetes是目前非常流行的容器编排系统,在其之上可以运行Web服务、大数据处理等各类应用。这些应用被打包在一个个非常轻量的容器中,我们通过声明的方
王知无(import_bigdata)
·
2024-02-09 06:38
SQL条件判断语句嵌套window子句的应用【易错点】--HiveSql面试题25
需求分析1数据准备3数据分析4小结0需求分析需求:表如下user_idgood_namegoods_typerk1hadoop1011hive1221sqoop2631hbase1041spark1351
flink
2661kafka1471oozie108
莫叫石榴姐
·
2024-02-09 06:00
SQLBOY1000题
sql
HiveSql面试题
sql
HiveSQL——条件判断语句嵌套windows子句的应用
0需求分析需求:表如下user_idgood_namegoods_typerk1hadoop1011hive1221sqoop2631hbase1041spark1351
flink
2661kafka1471oozie108
爱吃辣条byte
·
2024-02-09 06:58
#
HIve
SQL
大数据
数据仓库
【
flink
状态管理(三)】StateBackend的整体设计、StateBackend创建说明
文章目录一.状态后端概述二.StateBackend的整体设计1.核心功能2.StateBackend的UML3.小结三.StateBackend的加载与初始化1.StateBackend创建概述2.StateBackend创建过程一.状态后端概述StateBackend作为状态存储后端,提供了创建和获取KeyedStateBackend及OperatorStateBackend的方法,并通过Ch
roman_日积跬步-终至千里
·
2024-02-09 05:50
#
flink源码
flink
java
linux
【
flink
状态管理(四)】MemoryStateBackend的实现
.状态初始化1.2.创建状态2.基于MemoryStateBackend创建OperatorStateBackend3.基于MemoryStateBackend创建CheckpointStorage在
Flink
roman_日积跬步-终至千里
·
2024-02-09 05:49
#
flink源码
flink
数据库
java
flink
简介
Flink
简介其结构图如下:image.png
Flink
架构
Flink
的分布式执行主要分成两个重要进程:master和worker。
三无架构师
·
2024-02-09 03:54
聊聊
flink
的TimerService
序本文主要研究一下
flink
的TimerServiceTimerService
flink
-streaming-java_2.11-1.7.0-sources.jar!
go4it
·
2024-02-08 23:26
数据湖
的整体思路
当
数据湖
成为中心,那么就可以围湖而建“数据服务环”,环上的服务包括了数仓、机器学习、大数据处理、日志分析,甚至RDS和NOSQL服务等等。
zhang菜鸟
·
2024-02-08 22:19
大数据
数据仓库
Flink
状态编程
Flink
的状态管理是它的优势之一.什么是
万事万物
·
2024-02-08 22:41
Flink
从入门到实践(三):数据实时采集 -
Flink
MySQL CDC
文章目录系列文章索引一、概述1、版本匹配2、导包二、编码实现1、基本使用2、更多配置3、自定义序列化器4、
Flink
SQL方式三、踩坑1、TheMySQLserverhasatimezoneoffset
秃了也弱了。
·
2024-02-08 17:34
大数据:Flink
flink
mysql
大数据
flink
消费kafka源
后来一通折腾,发现我当时消费的配置,是用
Flink
KafkaConsu
MinaLing
·
2024-02-08 16:14
【大数据面试题】
Flink
第一弹60连发
更多面试题可以参考:《
Flink
面试通关手册》1、
Flink
如何保证精确一次性消费
Flink
保证精确一次性消费主要依赖于两种
Flink
机制1、Checkpoint机制2、二阶段提交机制Checkpoint
王知无(import_bigdata)
·
2024-02-08 14:26
温习大数据框架阿里
Flink
面试题
1、
Flink
如何保证精确一次性消费
Flink
保证精确一次性消费主要依赖于两种
Flink
机制1、Checkpoint机制2、二阶段提交机制Checkpoint机制主要是当
Flink
开启Checkpoint
Coding路人王
·
2024-02-08 14:26
flink
spark
面试
big
data
flink
大数据
大数据面试题之
Flink
Flink
基础架构组成?
Flink
程序在运行时主要有TaskManager,JobManager,Client三种角色。
尚硅谷铁粉
·
2024-02-08 14:26
大数据
flink
【大数据面试】
Flink
04:状态编程与容错机制、Table API、SQL、
Flink
CEP
六、状态编程与容错机制1、状态介绍(1)分类流式计算分为无状态和有状态无状态流针对每个独立事件输出结果,有状态流需要维护一个状态,并基于多个事件输出结果(当前事件+当前状态值)(2)有状态计算举例窗口复杂事件处理:一分钟出现两次流与other的关联操作2、有状态的算子数据源source,数据存储sink都是有状态的状态与算子相关联,有两种类型的状态:算子状态和键控状态(1)算子状态(operato
哥们要飞
·
2024-02-08 14:25
大数据
面试
flink
sql
数据库
【大数据面试题】004
Flink
状态后端是什么
那作为最热门的实时处理框架,
Flink
对状态管理是有一套的。那就是状态后端,拿来管理,储存
Flink
里状态的东西,默认是用MemoryBackend。
Jiweilai1
·
2024-02-08 14:25
一天一道面试题
大数据
flink
Analyze the taxi ride event stream with Apache
Flink
Forthedemoapplication,wegenerateastreamoftaxirideeventsfromapublicdatasetoftheNewYorkCityTaxiandLimousineCommission(TLC).ThedatasetconsistsofrecordsabouttaxitripsinNewYorkCityfrom2009to2015.Wetooksome
生活的探路者
·
2024-02-08 13:11
flink
从savepoint、checkpoint中恢复数据
二、如何从savepoint/checkpoint中恢复数据1.
flink
sql流作业2.查看
flink
webui3.手动停止作业并设置savepoint4.查看生成的文件5.添加参数,进行作业恢复前言提示
但行益事莫问前程
·
2024-02-08 13:13
flink
flink
大数据
kafka
史上最全OLAP对比
目录1.什么是OLAP2.OLAP引擎的常见操作3.OLAP分类MOLAP的优点和缺点ROLAP的优点和缺点4.并发能力与查询延迟对比5.执行模型对比5.OLAP引擎的主要特点5.2SparkSQL、
Flink
SQL5.3Clickhouse5.4Elasticsearch5.5Presto5.6Impala5.7Doris5.8Druid5.9Kylin
只会写demo的程序猿
·
2024-02-08 11:04
数仓
spark
hadoop
数据仓库
Spark streaming写入delta
数据湖
问题
但项目上线到生产环境,检查sparkstreaming的job,发现数据在merge写入到
数据湖
时,往往超过1小时。
kk_io
·
2024-02-08 10:01
疑难杂症
spark
大数据
分布式
Spark streaming batch运行时间过长问题02
排查Sparkstreaming数据写入时间过长问题,一方面是因为程序写
数据湖
小文件问题。在解决了小文件问题后,还是不能达到预期的1分钟一个batch。
kk_io
·
2024-02-08 10:01
疑难杂症
spark
batch
大数据
Flink
Checkpoint过程
Checkpoint使用了Chandy-Lamport算法流程1.正常流式处理(尚未Checkpoint)如下图,Topic有两个分区,并行度也为2,根据奇偶数我们假设任务从Kafka的某个Topic中读取数据,该Topic有2个Partition,故任务的并行度为2。根据读取到数据(下面的数据是offset的值,同时我们把它直接当成数据)的奇偶性,将数据分发到两个task进行SumSource1
orange大数据技术探索者
·
2024-02-08 09:49
#
flink迁移
flink
大数据
Checkpoint
Flink
大状态和Checkpoint调优
文章迁移,待整理2.状态和Checkpoint调优2.1大状态调优我们生产大多数会使用fsState,memState程序挂了状态就丢了,应该没人会在生产使用,但是涉及到一些大状态,fsState效率很低,这时候会选择rocksDbState1.RocksDb为什么效率高基于LSMTree实现,类似Hbase的读写方式,state.backend.local-recovery:true写数据内存即
orange大数据技术探索者
·
2024-02-08 09:18
#
flink迁移
flink
大数据
Flink
Format系列(2)-CSV
Flink
的csv格式支持读和写csv格式的数据,只需要指定'format'='csv',下面以kafka为例。
sf_www
·
2024-02-08 09:48
flink
flink
大数据
大数据毕业设计PySpark+Py
Flink
航班预测系统 飞机票航班数据分析可视化大屏 机票预测 机票爬虫 飞机票推荐系统 大数据毕业设计 计算机毕业设计
博主介绍:✌全网粉丝100W+,前互联网大厂软件研发、集结硕博英豪成立工作室。专注于计算机相关专业毕业设计项目实战6年之久,选择我们就是选择放心、选择安心毕业✌由于篇幅限制,想要获取完整文章或者源码,或者代做,可以给我留言或者找我聊天。感兴趣的可以先收藏起来,还有大家在毕设选题,项目以及论文编写等相关问题都可以给我留言咨询,希望帮助更多的人。1.DrissionPage自动化Python爬虫工具采
B站计算机毕业设计超人
·
2024-02-08 09:17
大数据毕业设计
大数据
数据分析
hadoop
数据挖掘
爬虫
spark
flink
【项目实战】
Flink
+InfluxDB+Grafana实现对YARN集群队列资源进行画像
一、
Flink
实时计算第一章:
Flink
快速入门1.
Flink
架构2.
Flink
应用场景3.
Flink
VSSpark4.实时计算技术选型第二章:
Flink
项目构建与测试1.快速构建
Flink
项目2.第一个
大数据研习社
·
2024-02-08 08:56
Flink
flink
Flink实时计算
可视化监控
InfluxDB
涤生大数据实战:基于
Flink
+ODPS历史累计计算项目分析与优化(上)
涤生大数据实战:基于
Flink
+ODPS历史累计计算项目分析与优化(一)1.前置知识ODPS(OpenDataPlatformandService)是阿里云自研的一体化大数据计算平台和数据仓库产品,在集团内部离线作为离线数据处理和存储的产品
涤生大数据
·
2024-02-08 08:55
数仓建模/数据架构/数据治理
大数据
flink
odps
flink
-redis-connector实现
分享一个项目
flink
-redis-connector,功能如下:支持
Flink
SQL写Redis支持
Flink
SQL读Redis维表(高时效性&提供缓存,非定期全量load的allcache方式)一:
knowfarhhy
·
2024-02-08 08:06
flink
redis
redis
缓存
数据库
2022-02-07 Iceberg源码阅读(一)
数据湖
是近年来比较火热的领域,ApacheIceberg被誉为
数据湖
技术“三剑客”(DeltaLake、Hudi、Iceberg)之一,而iceberg高度抽象和优雅的设计成为了它最吸引人的优势,这一点也是我阅读
星路旅行者
·
2024-02-08 07:23
Flink
on Yarn的两种模式
Flink
onYarn模式部署始末:
Flink
的Standalone和onYarn模式都属于集群运行模式,但是有很大的不同,在实际环境中,使用
Flink
onYarn模式者居多。
GOD_WAR
·
2024-02-08 07:22
Flink
flink
yarn
flink
on
yarn
【大数据】
Flink
如何处理背压
Flink
如何处理背压1.什么是背压2.
Flink
中的背压3.结论⭐推荐阅读:《
Flink
架构(二):数据传输》人们经常会问
Flink
是如何处理背压(backpressure)效应的。
G皮T
·
2024-02-08 07:16
#
Flink
大数据
flink
实时计算
背压
backpressure
flink
on yarn
文章目录使用
flink
sqlclientonyarnsession模式Per-JobCluster模式
flink
run
flink
runapplication-tyarn-application配置任务退出时保留
枪枪枪
·
2024-02-08 07:46
flink
大数据
hadoop
【大数据】
Flink
on YARN,如何确定 TaskManager 数
Flink
onYARN,如何确定TaskManager数1.问题2.并行度(Parallelism)3.任务槽(TaskSlot)4.确定TaskManager数1.问题在
Flink
1.5ReleaseNotes
G皮T
·
2024-02-08 07:43
#
Flink
大数据
flink
TaskManager
Task
Slot
任务槽
并行度
SubTask
flink
反压及解决思路和实操
1.反压原因反压其实就是task处理不过来,算子的sub-task需要处理的数据量>能够处理的数据量,比如:当前某个sub-task只能处理1wqps的数据,但实际上到来2wqps的数据,但是实际只能处理1w条,从而反压常见原因有:数据倾斜:数据分布不均,个别task处理数据过多算子性能问题:可能某个节点逻辑很复杂,比如sink节点很慢,lookupjoin热查询慢流量陡增,比如大促时流量激增,或
orange大数据技术探索者
·
2024-02-08 07:28
#
flink迁移
flink
大数据
Flink反压
Flink
Sql通用调优策略
历史文章迁移,稍后整理使用DataGenerator提前进行压测,了解数据的处理瓶颈、性能测试和消费能力开启minibatch:"table.exec.mini-batch.enabled","true"开启Local+Global两阶段聚合:"table.exec.mini-batch.enabled","true"解决数据倾斜问题:流式倾斜,开启minibatch窗口类有界操作,传统的两阶段聚
orange大数据技术探索者
·
2024-02-08 07:28
#
flink迁移
flink
flink调优
实时调优
Flink
2.0 状态存算分离改造实践
本文整理自阿里云智能
Flink
存储引擎团队兰兆千在FFA2023核心技术(一)中的分享,内容关于
Flink
2.0状态存算分离改造实践的研究,主要分为以下四部分:
Flink
大状态管理痛点阿里云自研状态存储后端
Apache Flink
·
2024-02-08 07:28
flink
网络
大数据
Flink
流式数据倾斜
1.流式数据倾斜流式处理的数据倾斜和Spark的离线或者微批处理都是某一个SubTask数据过多这种数据不均匀导致的,但是因为流式处理的特性其中又有些许不同2.如何解决2.1窗口有界流倾斜窗口操作类似Spark的微批处理,直接两阶段聚合的方式来解决就可以selectdate,type,sum(pv)aspvfrom(selectdate,type,sum(count)aspvfromtablegr
orange大数据技术探索者
·
2024-02-08 07:58
#
flink迁移
flink
大数据
数据倾斜
Flink
Sql 窗口函数
WindowingTVF以前用的是GroupedWindowFunctions(分组窗口函数),但是分组窗口函数只支持窗口聚合现在
Flink
Sql统一都是用的是WindowingTVFs(窗口表值函数)
orange大数据技术探索者
·
2024-02-08 07:28
#
flink迁移
flink
windows
窗口函数
详述
Flink
Sql Join操作
Flink
Sql的Join
Flink
官网将其分为了Joins和WindowJoins两个大类,其中里面又分了很多Join方式参考文档:Joins|Apache
Flink
WindowJOIN|Apache
Flink
Joins
orange大数据技术探索者
·
2024-02-08 07:28
#
flink迁移
FlinkSq
FlinkJoin
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他