E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
#flink集群搭建
Flink
-DataStreamAPI-生成水印
下面我们将学习
Flink
提供的用于处理事件时间戳和水印的API,也会介绍有关事件时间、流转时长和摄取时间,下面就让我们跟着官网来学习吧一、水印策略介绍为了处理事件时间,
Flink
需要知道事件时间戳,这意味着流中的每个元素都需要分配其事件时间戳
隔着天花板看星星
·
2025-03-11 19:22
flink
大数据
分布式
flink
-cdc实时增量同步mysql数据到elasticsearch
1.环境准备mysqlelasticsearch
flink
onyarn说明:如果没有安装hadoop,那么可以不用yarn,直
大数据技术派
·
2025-03-11 19:51
#
Flink
elasticsearch
flink
mysql
flink
+kafka实现流数据处理学习
在应用系统的建设过程中,通常都会遇到需要实时处理数据的场景,处理实时数据的框架有很多,本文将以一个示例来介绍
flink
+kafka在流数据处理中的应用。
上海研博数据
·
2025-03-11 17:06
java
Flink
实时流处理入门与实践
1.2
Flink
简介Apache
Flink
是一个开源的分布式流处理框架,支持批处理和流处理。
Flink
提供了高吞吐量、低延迟和精确一次(exactly-onc
随风九天
·
2025-03-11 07:19
spring
java
Flink
实时流
Rabbitmq从入门到精通
简介1.2组件介绍1.1消息队列的选择1.2Docker安装rabbitmq1.4消息应答机制2.1交换机类型2.1direct2.2fanout2.3topic:2.4header3RabbitMQ
集群搭建
XJzz3
·
2025-03-10 23:17
消息中间件
rabbitmq
kafka +
flink
+mysql 案例
mavenorg.apache.
flink
flink
-streaming-java_2.121.14
angen2018
·
2025-03-10 07:47
java
kafka
flink
数据湖架构与实时数仓实践:Hudi、Iceberg、Kafka +
Flink
+ Spark
1.引言:数据湖与数据仓库的融合趋势在大数据时代,传统的数据仓库(DataWarehouse,DW)因其强一致性和高效查询能力,一直是企业数据分析的核心。然而,随着数据量和数据类型的爆炸式增长,传统数据仓库的存储成本和数据管理难度逐渐增加。为了解决这些问题,数据湖(DataLake)概念应运而生。数据湖能够存储原始数据,支持半结构化和非结构化数据,提供更灵活的计算框架,但其缺乏事务管理和数据一致性
晴天彩虹雨
·
2025-03-10 03:22
架构
kafka
flink
数据仓库
Flink
实战:如何计算实时热门合约
本文将通过使用
Flink
框架实现实时热门合约需求。实际业务过程中,如何判断合约是否属于热门合约,可以从以下几个方面进行分析,比如:交易数量:合约被调用的次数可以作为其热门程度的指标之一。
WuJiWeb3
·
2025-03-10 00:55
区块链链上数据分析
flink
大数据
web3
数据分析
智能合约
kafka
big
data
Hadoop、Spark、
Flink
Shuffle对比
一、Hadoop的shuffle前置知识:Map任务的数量由Hadoop框架自动计算,等于分片数量,等于输入文件总大小/分片大小,分片大小为HDFS默认值128M,可调Reduce任务数由用户在作业提交时通过Job.setNumReduceTasks(int)设置数据分配到Reduce任务的时间点,在Map任务执行期间,通过Partitioner(分区器)确定每个键值对的目标Reduce分区。默认
逆袭的小学生
·
2025-03-09 10:55
hadoop
spark
flink
大数据
Flink
(六十四):
Flink
运行时架构介绍_
flink
中涉及到的大数据组件
从以Greenplum为代表的MPP(MassivelyParallelProcessing,大规模并行处理)架构,到Hadoop、Spark为代表的批处理架构,再到Storm、
Flink
为代表的流处理架构
2401_84181942
·
2025-03-09 03:39
程序员
大数据
flink
架构
大数据运维实战指南:零基础入门与核心技术解析(第一篇)
零基础入门与核心技术解析(第一篇)系列文章目录第一篇:大数据运维概述与核心技能体系第二篇:Hadoop生态体系与集群部署实战第三篇:分布式存储系统运维与优化第四篇:资源调度框架YARN/K8s深度解析第五篇:实时计算框架
Flink
emmm形成中
·
2025-03-09 01:19
大数据
运维
ZooKeeper的初识(Zookeeper基本知识,ZooKeeper shell,ZooKeeper数据模型 ,ZooKeeper Watcher 监听机制,ZooKeeper选举机制)
Zookeeper基本知识Zookeeper
集群搭建
Zookeeper
集群搭建
指的是ZooKeeper分布式模式安装。通常由2n+1台servers组成。
kismetG
·
2025-03-08 15:33
Azkaban
Zookeeper基本知识
ZooKeeper
shell
ZooKeeper数据模型
ZooKeeper
Watcher
监听机制
ZooKeeper选举机制
快慢指针【等分链表、判断链表中是否存在环】
实现classListNode{intval;ListNodenext;ListNode(intval){this.val=val;this.next=null;}}publicclassMiddleO
fLink
edList
山风wind
·
2025-03-07 22:07
JAVA基础
链表
java
网络
flink
入门
flink
安装
flink
本地安装demo运行本地模式安装|Apache
Flink
flink
1.13.1为例:cd/optwgethttps://mirrors.advancedhosters.com/apache
Thomas2143
·
2025-03-07 19:36
总结
flink
scala
kafka
Apache
Flink
详解:流处理与批处理的强大框架
Apache
Flink
详解:流处理与批处理的强大框架Apache
Flink
是一个开源的流处理框架,旨在处理大规模数据流。
Flink
能够处理实时流数据和批处理数据,具有高吞吐量、低延迟、容错等特性。
微笑听雨。
·
2025-03-07 19:36
大数据
apache
flink
大数据
Flink
的市场竞争力:大数据浪潮中的“潜力股”还是“青铜”?
Flink
的市场竞争力:大数据浪潮中的“潜力股”还是“青铜”?嘿,各位小伙伴!今天咱来聊聊
Flink
在市场中的竞争力这个超有意思的话题。
狮歌~资深攻城狮
·
2025-03-07 19:26
大数据
【
Flink
】(二)详解
Flink
运行架构_
flink
的运行架构负荷分担是什么
因为
Flink
是用Java和Scala实现的,所以所有组件都会运行在Java虚拟机上。
2301_82242724
·
2025-03-07 18:24
flink
架构
大数据
flink
分发策略详解
一、分发策略核心逻辑与分类
Flink
的数据分发策略决定了数据在算子间上下游的传输方式,直接影响作业的并行度利用、负载均衡、网络开销。
24k小善
·
2025-03-07 18:53
flink
大数据
java
【
Flink
银行反欺诈系统设计方案】1.短时间内多次大额交易场景的
flink
与cep的实现
【
flink
应用系列】1.
Flink
银行反欺诈系统设计方案1.经典案例:短时间内多次大额交易1.1场景描述1.2风险判定逻辑2.使用
Flink
实现2.1实现思路2.2代码实现2.3使用
Flink
流处理3
*星星之火*
·
2025-03-07 18:20
Flink反欺诈
flink
大数据
flink反欺诈
【
Flink
银行反欺诈系统设计方案】4.
Flink
CEP 规则表刷新方式
【
Flink
银行反欺诈系统设计方案】4.
Flink
CEP规则表刷新方式概要1.**实现思路**2.**代码实现**2.1定义POJO2.2规则加载与动态更新2.3动态规则更新与CEP模式匹配3.
*星星之火*
·
2025-03-07 17:16
Flink反欺诈
flink
java
数据库
TiDB系列之:使用
Flink
TiDB CDC Connector采集数据
TiDB系列之:使用
Flink
TiDBCDCConnector采集数据一、依赖项二、Maven依赖三、SQLClientJAR四、如何创建TiDBCDC表五、连接器选项六、可用元数据七、特征一次性处理启动阅读位置多线程读取
快乐骑行^_^
·
2025-03-06 18:41
日常分享专栏
TiDB系列
使用Flink
TiDB
CDC
Connector采集数据
SpringBoot集成
Flink
-CDC
Flink
CDCCDC相关介绍CDC是什么?CDC是ChangeDataCapture(变更数据获取)的简称。
whiteBrocade
·
2025-03-06 18:10
spring
flink
mysql
java-activemq
kafka
elasticsearch
flink
重启策略
一、重启策略核心意义
Flink
重启策略(RestartStrategy)是容错机制的核心组件,用于定义作业在发生故障时如何恢复执行。其核心目标为:最小化停机时间:快速恢复数据处理,降低业务影响。
24k小善
·
2025-03-06 17:35
flink
大数据
java
学习
Flink
:一场大数据世界的奇妙冒险
学习
Flink
:一场大数据世界的奇妙冒险嘿,朋友们!
狮歌~资深攻城狮
·
2025-03-06 17:29
大数据
Kubernetes Secret的创建与使用
前提条件拥有Kubernetes集群环境,可参考:Kubernetes
集群搭建
理解Kubernetes部署知识,可参考:使用Kubernetes部署第一个应用、Deloyment控制器Secret简介KubernetesSecret
Hadoop_Liang
·
2025-03-06 05:51
K8S
kubernetes
容器
云原生
基于
Flink
CDC YAML 的 MySQL 到 Kafka 流式数据集成
这篇教程将展示如何基于
Flink
CDCYAML快速构建MySQL到Kafka的流式数据集成作业,包含整库同步、表结构变更同步的演示和特色功能的介绍。
·
2025-03-05 16:47
flink大数据实时计算
Databend 产品月报(2025年2月)
从MySQL迁移到DatabendDatabend推荐使用db-archiver进行MySQL批量迁移,使用
Flink
CDC进行实时变更数据捕获(CDC)迁移。
·
2025-03-05 15:15
数据库
Flink
CDC + Oracle Demo
本文用于说明
Flink
集成oraclecdc的方式pom.xml1.13.32.12org.apache.
flink
flink
-java${
flink
.version}provided-->org.apache.
flink
flink
-clients
缘上寒山
·
2025-03-05 12:53
flink
oracle
Flink
CEP原理与代码实例讲解
Flink
CEP原理与代码实例讲解1.背景介绍1.1什么是复杂事件处理CEP复杂事件处理(ComplexEventProcessing,CEP)是一种用于分析事件流的技术。
AI天才研究院
·
2025-03-05 11:20
计算
DeepSeek
R1
&
大数据AI人工智能大模型
计算科学
神经计算
深度学习
神经网络
大数据
人工智能
大型语言模型
AI
AGI
LLM
Java
Python
架构设计
Agent
RPA
【
Flink
银行反欺诈系统设计方案】反欺诈系统全生命周期设计
【
Flink
银行反欺诈系统设计方案】反欺诈系统全生命周期设计概要:1.事前反欺诈准备核心模块与架构:2.事中反欺诈发现与告警核心模块与架构:3.事后反欺诈事件分析核心模块与架构:4.反欺诈闭环架构设计整体技术栈
*星星之火*
·
2025-03-05 11:49
Flink反欺诈
flink
大数据
Flink
Oceanbase Connector详解
Flink
OceanBaseConnector是Apache
Flink
提供的一个用于连接OceanBase数据库的插件。
24k小善
·
2025-03-05 11:17
flink
大数据
java
小白进阶高手:使用
Flink
开发实时数仓的经验与技巧(理论结合超多实例)
Flink
作为一种流处理框架,在实时数仓的开发中发挥着关键作用。它能够处理大量实时数据流,支持复杂的事件处理、实时计算和监控,具有高吞吐、低延迟的优势。
大模型大数据攻城狮
·
2025-03-05 11:43
flink
大数据
flink开发
CEP
flink反压
flink多流
flink容错
Flink
学习方法
如果你正打算学习
Flink
,或者刚刚开始接触
Flink
,别担心,很多人都是从这个阶段走过来的今天我就来给大家分享一些学习
Flink
的建议,希望能帮到你一、了解
Flink
是什么在正式开始学习之前,我们得先搞清楚
狮歌~资深攻城狮
·
2025-03-05 10:41
大数据
Flink
CEP社区资源指南:学习与交流平台
Flink
CEP社区资源指南:学习与交流平台1.背景介绍Apache
Flink
是一个开源的分布式大数据处理引擎,支持有状态计算和准确一次的流处理语义。
AI大模型应用之禅
·
2025-03-05 10:09
DeepSeek
R1
&
AI大模型与大数据
计算科学
神经计算
深度学习
神经网络
大数据
人工智能
大型语言模型
AI
AGI
LLM
Java
Python
架构设计
Agent
RPA
深入探秘
Flink
CDC:实时数据处理的新利器
在这样的大背景下,
Flink
CDC应运而生,它作为一种强大的实时数据同步与处理工具,为大数据处理带来了全新的解决方案,在大数据生态体系中占据着举足轻重的地位。
Flink
CDC,即
Flink
Cha
lucky_syq
·
2025-03-05 10:08
大数据
大数据
flink
Flink
keyBy 算子源码与设计理念分析
今天我们来探究一下
Flink
使用keyBy算子的时候到底发生了什么,看完这篇文章,你会豁然开朗。
·
2025-03-05 03:27
java
Flink
----常见故障排除
目录常见故障排除1非法配置异常2Java堆空间异常3直接缓冲存储器异常4元空间异常5网络缓冲区数量不足6超出容器内存异常7Checkpoint失败7.1CheckpointDecline7.2CheckpointExpire8Checkpoint慢SourceTriggerCheckpoint慢:使用增量Checkpoint:作业存在反压或者数据倾斜:Barrier对齐慢主线程太忙,导致没机会做s
天冬忘忧
·
2025-03-04 21:23
Flink
大数据
flink
Flink
SQL的Top-N实战
Flink
使用OVER窗口条件和过滤条件相结合以进行Top-N查询。利用OVER窗口的PARTITIONBY子句的
听挽风讲大数据
·
2025-03-04 20:18
Flink
flink
大数据
数栈基于
Flink
CEP与规则热更新扩展的深度解析
本文通过实际案例深入探讨了
Flink
CEP在复杂事件处理中的核心作用,详细分析了其优缺点,并探讨了在实时计算平台中规则热更新的重要性和创新实现方式,旨在帮助读者更好地理解和应用
Flink
CEP。
·
2025-03-04 18:11
大数据
【大数据专题】
Flink
题库
1.简述什么是Apache
Flink
?Apache
Flink
是一个开源的基于流的有状态计算框架。
我思故我在6789
·
2025-03-04 18:37
大数据专栏
大数据
flink
14个
Flink
SQL性能优化实践分享
在大数据处理领域,Apache
Flink
以其流处理和批处理一体化的能力,成为许多企业的首选。然而,随着数据量的增长,性能优化变得至关重要。
快乐非自愿
·
2025-03-04 15:40
flink
sql
性能优化
Flink
SQL 底层封装的原理
Apache
Flink
是一个分布式流处理引擎,而
Flink
SQL是其提供的一个SQL层,允许用户通过标准SQL查询对流式或批量数据进行查询和分析。
goTsHgo
·
2025-03-04 02:36
Flink
大数据
分布式
flink
sql
大数据
Flink
如何做流计算?大数据世界的“实时魔法”
Flink
如何做流计算?大数据世界的“实时魔法”揭秘✨嘿,各位小伙伴!今天咱们来聊聊
Flink
是怎么做流计算的。
狮歌~资深攻城狮
·
2025-03-04 02:05
struts
servlet
java
Flink
SQL的使用
文章目录一、
Flink
SQL简介1.1
Flink
SQL特点1.2工作原理1.3应用场景二、
Flink
SQL语法2.1CREATEcreate语句2.2SELECTselect语句2.2.1简单查询2.2.2
超人在良家-阿启
·
2025-03-04 02:05
Flink
1024程序员节
flink
Kafka 迁移 AutoMQ 时
Flink
位点管理的挑战与解决方案
凭借其与Kafka的完全兼容性可以与用户已有的
Flink
等大数据基础设施进行轻松整合。
Flink
是重要的流处理引擎,与Kafka有着密切的关系。
·
2025-03-03 17:20
后端java
rabbit@node2‘ thinks it‘s clustered with node ‘rabbit@node1‘, but ‘rabbit@node1‘ disagrees
集群搭建
完成后,下线rabbit@node2,node2上执行rabbitmqctlstop停止该节点上的服务。
yangguosheng
·
2025-03-03 13:53
rabbitmq
rabbitmq
cluster
forget
节点
集群
ZooKeeper集群部署实验 出现Error contacting service. It is probably not running.
前提:基础环境配置完成,ZooKeeper
集群搭建
完成1.启动ZooKeeper服务(切换到/root/zookeeper-3.4.14/bin目录下,我的zookeeper-3.4.14上传到了/root
IT_linux
·
2025-03-02 14:48
zookeeper
linux
分布式
Flink
同步数据mysql到doris问题合集
Flink
同步数据mysql到doris官方同步流程Doris安装下载地址导入镜像启动配置
Flink
-cdc安装(自制)下载地址导入镜像启动命令启动问题修复
Flink
报错Couldnotacquiretheminimumrequiredresources
土豆沒加
·
2025-03-02 05:28
常用工具
flink
mysql
大数据
Flink
架构体系:深入解析Apache
Flink
的架构与工作原理
Flink
架构体系:深入解析Apache
Flink
的架构与工作原理Apache
Flink
是一种高性能、分布式、流式处理引擎,被广泛应用于大数据处理和实时分析场景。
雨中徜徉的思绪漫溢
·
2025-03-02 05:25
flink
架构
apache
大数据
Flink
的架构体系
Flink
中的重要角⾊JobManager处理器JobManager处理器也称之为Master,用于协调分布式执行,它们用来调度task,协调检查点,协调失败时恢复等。
GDDGHS_
·
2025-03-02 05:25
flink
架构
大数据
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他