E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
大数据框架flink
Flink
(十一)【状态管理】
Flink
状态管理我们一直称
Flink
为运行在数据流上的有状态计算框架和处理引擎。
让线程再跑一会
·
2023-12-30 17:49
Flink
flink
大数据
Apache
Flink
连载(二十):
Flink
On Yarn运行 - Yarn Per-Job模式(弃用)
博主个人B栈地址:豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.任务提交命令2.任务提交流程Per-Job模式目前只有yarn支持,Per-job模式从
Flink
1.15版本开始已经被弃用
IT贫道
·
2023-12-30 15:02
大数据计算体系技术栈
Apache
Flink
apache
flink
大数据
Apache
Flink
连载(二十一):
Flink
On Yarn运行原理-Yarn Application模式
个人主页:IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主:加入大数据技术讨论群聊,获取更多大数据资料。博主个人B栈地址:豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.任务提交命令
IT贫道
·
2023-12-30 15:30
大数据计算体系技术栈
Apache
Flink
apache
flink
大数据
Flink
实时电商数仓(九)
用户注册汇总表需求分析统计各窗口的注册用户数,写入Doris思路分析读取kafka用户注册主题数据转换数据结构string->JSONObject->javaBean使用user_info表中的数据代表用户注册设置水位线开窗聚合写入Doris具体实现创建用户注册统计类继承BaseApp,设置端口,并行度,kafka消费者组,kafka主题(Topic_user_register)启动zookeep
十七✧ᐦ̤
·
2023-12-30 11:16
flink
大数据
Flink
版本更新汇总(1.14-1.18)
0、汇总========1.14.0========1.有界流支持Checkpoint;2.批执行模式支持DataStream和Table/SQL混合应用;3.新增HybridSource功能;4.新增缓冲区去膨胀功能;5.新增细粒度资源管理功能;6.新增DataStream的Pulsar连接器;========1.15.0========1.支持增量的Savepoint;2.保证作业级别的指标在
猫猫爱吃小鱼粮
·
2023-12-30 09:55
flink
人工智能
大数据
Flink
实时电商数仓(八)
用户域登录各窗口汇总表主要任务:从kafka页面日志主题读取数据,统计七日回流用户:之前活跃的用户,有一段时间不活跃了,之后又开始活跃,称为回流用户当日独立用户数:同一个用户当天重复登录,只算作一个独立用户。思路分析读取kafka页面主题数据转换数据结构:String->JSONObject过滤数据,uid不为null登录的两种情况用户打开应用后自动登录用户打印应用后没有登录,浏览后跳转到登录页面
十七✧ᐦ̤
·
2023-12-30 09:55
flink
linq
数据库
Flink
DataStream 编程模型
本文是我的第一篇付费文章,这是个开篇纵览,后面会深入讲解
Flink
理论与开发,不限于
Flink
这一个组件,后面也会有Spark、Clickhouse等等,代码也会配套同步到Gitee上面(Gitee地址见文末
大数据技术派
·
2023-12-30 09:54
flink
大数据
Flink
Shuffle、Spark Shuffle、Mr Shuffle 对比
总结:1、
Flink
ShufflePipelinedShuffle:上游Subtask所在TaskManager直接通过网络推给下游Subtask的TaskManager;BlockingShuffle
猫猫爱吃小鱼粮
·
2023-12-30 09:53
flink
spark
mr
搭建
flink
集群 —— 筑梦之路
Apache
Flink
是一个框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算。
Flink
能在所有常见集群环境中运行,并能以内存速度和任意规模进行计算。
筑梦之路
·
2023-12-30 09:04
大数据
linux系统运维
flink
大数据
Flink
输出至 Elasticsearch
【1】引入pom.xml依赖org.apache.
flink
flink
-connector-elasticsearch6_2.121.10.0【2】ES6Scala代码,自动导入的scala包需要修改为
程序猿进阶
·
2023-12-30 06:27
Flink
flink
elasticsearch
大数据
java
面试
后端
性能优化
Flink
cdc 2.3.0 日前发布,支持众多新特性
连接器增量快照迎来新的连接器成员2.3.0版本MongoDBCDC,OracleCDC两大连接器均支持了增量快照,实现无锁读取+并发读取+断点续传优化2.3.0版本MySQLCDC连接器性能和稳定性大幅提升
Flink
青涩的芒果汁
·
2023-12-30 06:00
技术分享
flink
数据库
大数据
mysql cdc 整库迁移 (mysql to mysql)
技术思想利用mysqlcatalog,mysqlcdc,
flink
jdbc等技术实现mysql整库迁移至下游数据库,这里是示范mysqltomysql,其他sink组件可自行扩展实现。
青涩的芒果汁
·
2023-12-30 06:00
技术分享
mysql
flink
flink
消费Kafka 空指针问题
flink
消费Kafka空指针问题error:2021-12-0210:51:55,644WARNorg.apache.
flink
.runtime.taskmanager.Task[]-Source:CustomSource
青涩的芒果汁
·
2023-12-30 06:30
技术分享
个人笔记
kafka
flink
apache
基于Rsyslog+Kafka+
Flink
+Clickhouse的高性能日志采集、分析、汇聚存储方法
在上一篇博文中介绍了简单的实用负载均衡与实时监控方案(tengine+rsyslog+goaccess),功能上是满足日常需要的。但是用户的需求是没有止境的,更何况我们做技术的都有一颗追求极致的心。在实际场景中客户需要了解平台整体UV、PV,各功能模块PV、UV,区域PV、UV,各手机型号、应用版本的使用情况,平台使用的趋势分析,功能模块的热度分析等指标。用户端精确埋点和基于Haddop的大数据采
IT 行者
·
2023-12-30 05:02
理论与实践
微服务
负载均衡
运维
PiflowX组件-WriteToKafka
计算引擎
flink
有界性StreamingAppendMode组件分组kafka端口Inport:默认端口outport:默认端口组件属性名称展示名称默认值允许值是否必填描述例子kafka_hostKAFKA_HOST
暗影八度
·
2023-12-29 23:14
大数据
hadoop
spark
flink
PiflowX组件-DataGen
具体可以查看
Flink
官方DataGenconnector。计算引擎
flink
有界性字段的数据全部生成完成后,source就结束了。因此,有界性取决于字段的有界性。
暗影八度
·
2023-12-29 23:14
PiflowX
大数据
spark
big
data
flink
flink
generic log-based incremental checkpoints 设计
背景
flink
在1.15版本后开始提供genericlog-basedincrementalcheckpoints的检查点方案,目的在于减少checkpoint的耗时,尽量缩短端到端的数据处理延迟,本文就来看下这种新类型的
lixia0417mul2
·
2023-12-29 23:43
flink
flink
数据库
oracle
PiflowX大数据流水线系统
支持分布式计算引擎
flink
和spark。以所见即所得的方式,实现大数据采集、处理、存储与分析流程化配置、运行与智能监控。
暗影八度
·
2023-12-29 23:43
PiflowX
大数据
PiflowX组件-ReadFromKafka
计算引擎
flink
有界性Unbounded组件分组kafka端口Inport:默认端口outport:默认端口组件属性名称展示名称默认值允许值是否必填描述例子kafka_hostKAFKA_HOST“”
暗影八度
·
2023-12-29 23:13
spark
flink
big
data
大数据
大数据框架
介绍
大数据学习必备三个框架Hadoop,Spark,Storm大数据的主要特点为数据量大(Volume),数据类别复杂(Variety),数据处理速度快(Velocity)和数据真实性高(Veracity),合起来被称为4V。大数据分析(BigDataAnalysis):大数据,表面上看就是大量复杂的数据,这些数据本身的价值并不高,但是对这些大量复杂的数据进行分析处理后,却能从中提炼出很有价值的信息。
mikecg
·
2023-12-29 23:06
flink
中值得监控的几个指标
背景为了维持
flink
的正常运行,对
flink
的日常监控就变得很重要,本文我们就来看一下
flink
中要监控的几个重要的指标重要的监控指标1.算子的处理速度的指标:numRecordsInPerSecond
lixia0417mul2
·
2023-12-29 23:12
flink
flink
大数据
大数据HelloWorld-
Flink
实现WordCount
MR,Spark,
Flink
以来开篇第一个程序都是WordCount。那么今天
Flink
开始目标就是在本地调试出WordCount。[图片上传失败...
指尖数虫
·
2023-12-29 22:38
给linux(centos)操作系统设置主机名的几种方式
镜像下载、域名解析、时间同步请点击阿里云开源镜像站一、前言就是我们需要集群部署hadoop,
Flink
时,写ip地址太长了,然后大家想的就是能不能用比如:node1,node2,node3去代替IP地址
萌褚
·
2023-12-29 21:13
Flink
实时电商数仓之DWS层
org.apache.doris
flink
-doris-connector-1.17com.janeluoikanalyzer测试代码如下:publicclassIkUtil{publicsta
十七✧ᐦ̤
·
2023-12-29 17:19
flink
大数据
【
flink
番外篇】9、
Flink
Table API 支持的操作示例(5)- 表的列操作
Flink
系列文章一、
Flink
专栏
Flink
专栏系统介绍某一知识点,并辅以具体的示例进行说明。1、
Flink
部署系列本部分介绍
Flink
的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan
·
2023-12-29 17:18
flink
示例专栏
flink
大数据
kafka
flink
hive
flink
sql
flink
kafka
flink
大数据
【
flink
番外篇】9、
Flink
Table API 支持的操作示例(4)- Table API 对表的查询、过滤操作
Flink
系列文章一、
Flink
专栏
Flink
专栏系统介绍某一知识点,并辅以具体的示例进行说明。1、
Flink
部署系列本部分介绍
Flink
的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan
·
2023-12-29 17:17
flink
示例专栏
flink
大数据
kafka
flink
sql
flink
hive
flink
kafka
flink
大数据
【
flink
番外篇】9、
Flink
Table API 支持的操作示例(1)-通过Table API和SQL创建表
Flink
系列文章一、
Flink
专栏
Flink
专栏系统介绍某一知识点,并辅以具体的示例进行说明。1、
Flink
部署系列本部分介绍
Flink
的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan
·
2023-12-29 17:47
flink
示例专栏
flink
大数据
flink
hive
kafka
flink
sql
flink
table
api
flink
实时计算
【
flink
番外篇】9、
Flink
Table API 支持的操作示例(3)- 通过API查询表和使用窗口函数的查询
Flink
系列文章一、
Flink
专栏
Flink
专栏系统介绍某一知识点,并辅以具体的示例进行说明。1、
Flink
部署系列本部分介绍
Flink
的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan
·
2023-12-29 17:47
flink
示例专栏
flink
大数据
kafka
flink
hive
flink
sql
flink
kafka
flink
实时计算
【
flink
番外篇】9、
Flink
Table API 支持的操作示例(2)- 通过Table API 和 SQL 创建视图
Flink
系列文章一、
Flink
专栏
Flink
专栏系统介绍某一知识点,并辅以具体的示例进行说明。1、
Flink
部署系列本部分介绍
Flink
的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan
·
2023-12-29 17:15
flink
示例专栏
flink
大数据
kafka
flink
kafka
flink
流批一体化
flink
table
api
flink
sql
Flink
Forward Asia 2023 主会场精彩回顾
2023年12月8日-9日,
Flink
ForwardAsia(FFA)峰会成功举行。
Flink
ForwardAsia是由Apache软件基金会官方授权、由阿里云承办的技术峰会。
Apache Flink
·
2023-12-29 12:05
flink
大数据
flink
的三个state backend的选择
flink
的三个状态MemoryStateBackend默认,小状态,本地调试使用FsStateBackend大状态,长窗口,高可用场景RocksDBStateBackend超大状态,长窗口,高可用场景
gegeyanxin
·
2023-12-29 09:12
flink
大数据
Flink
消费pubsub问题
我看网上
flink
消费pubsub的资料并不多,最近跑通了,大家有问题的可以给我留言。
gegeyanxin
·
2023-12-29 09:41
flink
pubsub
flink消费pubsub
谷歌鉴权
谷歌credentials
ElasticSearch 实现分词全文检索 - SpringBoot 完整实现 Demo
suggest)分词全文搜索所用的技术如下:ElasticSearchKibana管理界面IKAnalysis分词器SpringBoot实现流程可以通过Canal对MySQLbinlog进行数据同步,或者
flink
手把手教你学Java
·
2023-12-29 08:18
java
java-ee
spring
elasticsearch
大数据
Flink
SQL窗口实例分析
WindowingTVFsWindowingtable-valuedfunctions(WindowingTVFs),即窗口表值函数注意:窗口函数不可以单独使用,需要聚合函数,按照window_start、window_end分区,即存在:groupbywindow_start,window_endTUMBLE函数采用三个必需参数,一个可选参数:TUMBLE(TABLEdata,DESCRIPTO
PONY LEE
·
2023-12-29 06:42
flink
flink
大数据
Spark权威指南(中文版)--第23章 生产环境中的结构化流
关注:登峰大数据,阅读中文Spark权威指南(完整版),系统学习Spark
大数据框架
!如果您觉得作者翻译的内容有帮助,请分享给更多人。
登峰大数据
·
2023-12-29 06:00
Flink
项目系列1-项目介绍
一.电商的用户行为 电商平台中的用户行为频繁且较复杂,系统上线运行一段时间后,可以收集到大量的用户行为数据,进而利用大数据技术进行深入挖掘和分析,得到感兴趣的商业指标并增强对风险的控制。 电商用户行为数据多样,整体可以分为用户行为习惯数据和业务行为数据两大类。用户的行为习惯数据包括了用户的登录方式、上线的时间点及时长、点击和浏览页面、页面停留时间以及页面跳转等等,我们可以从中进行流量统计和热门
只是甲
·
2023-12-29 05:37
Hbase - 自定义Rowkey规则
>在
Flink
中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢,这时候我们就可以定制`TableInputFormat`来实现我们的需求了,我们还可以采用
Flink
的`DataSet
kikiki5
·
2023-12-29 01:49
【大数据】Hudi HMS Catalog 完全使用指南
HudiHMSCatalog完全使用指南1.HudiHMSCatalog基本介绍2.在
Flink
中写入数据3.在
Flink
SQL中查看数据4.在Spark中查看数据5.在Hive中查看数据1.HudiHMSCatalog
G皮T
·
2023-12-28 18:24
#
Hudi
大数据
hudi
数据湖
hive
flink
spark
metastore
Next Station of
Flink
CDC
摘要:本文整理自阿里云智能
Flink
SQL、
Flink
CDC负责人伍翀(花名:云邪),在
Flink
ForwardAsia2023主会场的分享。
Apache Flink
·
2023-12-28 17:30
flink
大数据
Actor模型与Akka Actor体系基础总结
前言最近用业余时间把
Flink
的RPC基础设施翻了个底朝天,又与之前分析过的SparkRPC机制做了一些对比,越发觉得Actor模型甚为精妙,值得简单记录一下,顺便也可作为日后解析
Flink
RPC机制的基础入门
LittleMagic
·
2023-12-28 17:51
Flink
项目实战篇 基于
Flink
的城市交通监控平台(下)
系列文章目录
Flink
项目实战篇基于
Flink
的城市交通监控平台(上)
Flink
项目实战篇基于
Flink
的城市交通监控平台(下)文章目录系列文章目录4.智能实时报警4.1实时套牌分析4.2实时危险驾驶分析
阿moments
·
2023-12-28 17:28
Flink
flink
大数据
scala
Flink
1.17实战教程(第五篇:状态管理)
系列文章目录
Flink
1.17实战教程(第一篇:概念、部署、架构)
Flink
1.17实战教程(第二篇:DataStreamAPI)
Flink
1.17实战教程(第三篇:时间和窗口)
Flink
1.17实战教程
阿moments
·
2023-12-28 17:27
Flink
java
flink
big
data
Flink
1.17实战教程(第六篇:容错机制)
系列文章目录
Flink
1.17实战教程(第一篇:概念、部署、架构)
Flink
1.17实战教程(第二篇:DataStreamAPI)
Flink
1.17实战教程(第三篇:时间和窗口)
Flink
1.17实战教程
阿moments
·
2023-12-28 17:27
Flink
flink
java
big
data
Flink
1.17实战教程(第三篇:时间和窗口)
系列文章目录
Flink
1.17实战教程(第一篇:概念、部署、架构)
Flink
1.17实战教程(第二篇:DataStreamAPI)
Flink
1.17实战教程(第三篇:时间和窗口)
Flink
1.17实战教程
阿moments
·
2023-12-28 17:57
Flink
flink
java
大数据
Flink
1.17实战教程(第四篇:处理函数)
系列文章目录
Flink
1.17实战教程(第一篇:概念、部署、架构)
Flink
1.17实战教程(第二篇:DataStreamAPI)
Flink
1.17实战教程(第三篇:时间和窗口)
Flink
1.17实战教程
阿moments
·
2023-12-28 17:57
Flink
java
flink
big
data
Flink
项目实战篇 基于
Flink
的城市交通监控平台(上)
系列文章目录
Flink
项目实战篇基于
Flink
的城市交通监控平台(上)
Flink
项目实战篇基于
Flink
的城市交通监控平台(下)文章目录系列文章目录1.项目整体介绍1.1项目架构1.2项目数据流1.3项目主要模块
阿moments
·
2023-12-28 17:21
Flink
flink
大数据
scala
Dbeaver,Hudi,Hive,Spark,Presto应用问题及解决措施梳理
近期频繁在mysql源端数据通过底层位
Flink
的平台进行数据接入至Hudi,过程中出现了一些问题,也通过了其他办法进行解决,现将整个过程的思路进行总结,以供大家共同学习进步。
p1i2n3g4
·
2023-12-28 17:31
大数据
hive
spark
hadoop
Flink
导入StarRocks
1、pom依赖881.13.62.12org.apache.
flink
flink
-java${
flink
.version}org.apache.
flink
flink
-streaming-java_${scala.binary.version
docsz
·
2023-12-28 16:29
starrocks
Flink
在有赞实时计算的实践
其次是在调研阶段我们为什么选择了
Flink
。在这个部分,主要是
Flink
与Spark的structuredstreaming的一些对比和选择
Flink
的原因。
有赞技术团队
·
2023-12-28 15:11
flink
-1.11 native k8s 测试
flink
onk8s目前有两种模式:Kubernetes:用户通过定义
flink
的k8s资源描述文件,由kubectl命令启动,最终以standalonesessioncluster或standalonejobcluster
yuchuanchen
·
2023-12-28 15:35
k8s
flink-1.11
大数据
上一页
18
19
20
21
22
23
24
25
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他