E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
flink反欺诈
[特殊字符] 实时数据洪流突围战:
Flink
+Paimon实现毫秒级分析的架构革命(附压测报告)——日均百亿级数据处理成本降低60%的工业级方案
某电商平台借助
Flink
+Paimon重构实时数仓后,端到端延迟从分钟级压缩至800ms,计算资源节省5.6万核/月。
Lucas55555555
·
2025-07-12 17:24
flink
大数据
Flink
2.0 DataStream算子全景
在实时流处理中,Apache
Flink
的DataStreamAPI算子是构建流处理pipeline的基础单元。本文基于
Flink
2.0,聚焦算子的核心概念、分类及高级特性。
Edingbrugh.南空
·
2025-07-12 09:32
大数据
flink
flink
人工智能
Flink
SQL 自定义函数详解
Flink
SQL函数详解自定义函数除了内置函数之外,
Flink
SQL还支持自定义函数,我们可以通过自定义函数来扩展函数的使用
Flink
SQL当中自定义函数主要分为四大类:1.ScalarFunction
Tit先生
·
2025-07-12 09:32
基础
flink
sql
大数据
java
Flink
自定义函数之聚合函数(UDAGG函数)
1.聚合函数概念聚合函数:将一个表的一个或多个行并且具有一个或多个属性聚合为标量值。聚合函数理解:假设一个关于饮料的表。表里面有三个字段,分别是id、name、price,表里有5行数据。假设你需要找到所有饮料里最贵的饮料的价格,即执行一个max()聚合。你需要遍历所有5行数据,而结果就只有一个数值。2.聚合函数实现聚合函数主要通过扩展AggregateFunction类实现。AggregateF
土豆马铃薯
·
2025-07-12 09:01
Flink
flink
大数据
Flink
时间窗口详解
一、引言在大数据流处理的领域中,
Flink
的时间窗口是一项极为关键的技术,想象一下,你要统计一个电商网站每小时的订单数量。由于订单数据是持续不断产生的,这就形成了一个无界数据流。
bxlj_jcj
·
2025-07-12 09:31
Flink
flink
大数据
Flink
DataStream API详解(一)
一、引言
Flink
的DataStreamAPI,在流处理领域大显身手的核心武器。
bxlj_jcj
·
2025-07-12 09:01
Flink
flink
大数据
flink
自定义函数
前言在很多情况下,尽管
flink
提供了丰富的转换算子API可供开发者对数据进行各自处理,比如map(),filter()等,但在实际使用的时候仍然不能满足所有的场景,这时候,就需要开发人员基于常用的转换算子的基础上
逆风飞翔的小叔
·
2025-07-12 09:30
flink
入门到精通
flink
大数据
big
data
Flink
自定义函数的常用方式
一、实现
Flink
提供的接口//自定义函数classMyMapFunctionimplementsMapFunction{publicIntegermap(Stringvalue){returnInteger.parseInt
飞Link
·
2025-07-12 09:00
Water
flink
java
大数据
Flink
DataStream API详解(二)
Flink
的DataStreamAPI提供了一系列强大的多流转换算子,如union、connect和split等,下面我们来详细了解一下它们的功能和用法。二、多流转换2.1union算子union算
·
2025-07-12 09:59
【Kafka】Failed to send data to Kafka: Expiring 30 record(s) for xxx 732453 ms has passed since last
1.美图问题与【
Flink
】
Flink
写入kafka报错FailedtosenddatatoKafka:Expiring4record(s)for20001mshaspassed重复了。2.背景
九师兄
·
2025-07-11 21:37
kafka
big
data
zookeeper
【
Flink
】
flink
Kafka报错 : Failed to send data to Kafka: This server is not the leader for that topic-pa
1.背景出现这个问题的背景请参考:【Kafka】FailedtosenddatatoKafka:Expiring30record(s)forxxx732453mshaspassedsincelast[2020-09-0513:16:09
九师兄
·
2025-07-11 21:37
flink
kafka
大数据
安全运维的 “五层防护”:构建全方位安全体系
融合AI、零信任等技术,构建全链路安全运维体系,以下从技术逻辑与实践落地展开解析:第一层:全域资产纳管——筑牢安全根基挑战云网基础设施包含分布式计算(Hadoop/Spark)、数据流处理(Storm/
Flink
KKKlucifer
·
2025-07-11 11:02
安全
运维
kafka单个生产者向具有多个partition的topic写数据(写入分区策略)
最近碰到生产环境现象一个
flink
程序单并行度(一个生产者),对应topic为8分区。每个分区都能消费到生产出的数据。
·
2025-07-10 03:35
云原生--微服务、CICD、SaaS、PaaS、IaaS
往期推荐浅学React和JSX-CSDN博客一文搞懂大数据流式计算引擎
Flink
【万字详解,史上最全】-CSDN博客一文入门大数据准流式计算引擎Spark【万字详解,全网最新】_大数据spark-CSDN
青秋.
·
2025-07-09 05:01
云原生
docker
云原生
微服务
kubernetes
serverless
service_mesh
ci/cd
Apache Iceberg数据湖基础
Iceberg的革新目标:解耦计算引擎与存储格式(支持Spark/
Flink
/Trino等);提供ACID事务、模式
Aurora_NeAr
·
2025-07-08 12:20
apache
Flink
ClickHouse 连接器:实现
Flink
与 ClickHouse 无缝对接
引言在大数据处理领域,Apache
Flink
是一款强大的流处理和批处理框架,而ClickHouse则是一个高性能的列式数据库,专为在线分析处理(OLAP)场景设计。
Edingbrugh.南空
·
2025-07-08 06:32
大数据
flink
flink
clickhouse
大数据
大数据技术之
Flink
第1章
Flink
概述1.1
Flink
是什么1.2
Flink
特点1.3
Flink
vsSparkStreaming表
Flink
和Streaming对比
Flink
Streaming计算模型流计算微批处理时间语义事件时间
·
2025-07-08 02:35
Hadoop核心组件最全介绍
(YetAnotherResourceNegotiator)3.MapReduce二、数据存储与管理1.HBase2.Hive3.HCatalog4.Phoenix三、数据处理与计算1.Spark2.
Flink
3
Cachel wood
·
2025-07-07 12:54
大数据开发
hadoop
大数据
分布式
spark
数据库
计算机网络
flink
数据同步mysql到hive_基于Canal与
Flink
实现数据实时增量同步(二)
背景在数据仓库建模中,未经任何加工处理的原始业务层数据,我们称之为ODS(OperationalDataStore)数据。在互联网企业中,常见的ODS数据有业务日志数据(Log)和业务DB数据(DB)两类。对于业务DB数据来说,从MySQL等关系型数据库的业务数据进行采集,然后导入到Hive中,是进行数据仓库生产的重要环节。如何准确、高效地把MySQL数据同步到Hive中?一般常用的解决方案是批量
·
2025-07-05 22:44
Flink
OceanBase CDC 环境配置与验证
一、OceanBase数据库核心配置1.环境准备与版本要求版本要求:OceanBaseCE4.0+或OceanBaseEE2.2+组件依赖:需部署LogProxy服务(社区版/企业版部署方式不同)兼容模式:支持MySQL模式(默认)和Oracle模式2.创建用户与权限配置在sys租户创建管理用户(社区版示例):--连接sys租户(默认端口2881)mysql-h127.0.0.1-P2881-ur
Edingbrugh.南空
·
2025-07-05 19:51
运维
大数据
flink
flink
oceanbase
大数据
Flink
MongoDB CDC 环境配置与验证
一、MongoDB数据库核心配置1.环境准备与集群要求MongoDBCDC依赖ChangeStreams特性,需满足以下条件:版本要求:MongoDB≥3.6集群模式:副本集(ReplicaSet)或分片集群(ShardedCluster)存储引擎:WiredTiger(默认自3.2版本起)副本集协议:pv1(MongoDB4.0+默认)验证集群配置:#连接MongoDBshellmongo--h
Edingbrugh.南空
·
2025-07-05 19:50
运维
大数据
flink
flink
mongodb
大数据
Flink
将数据流写入Kafka,Redis,ES,Mysql
Flink
写入不同的数据源写入到Mysql写入到ES向Redis写入向kafka写入导入公共依赖org.slf4jslf4j-simple1.7.25compileorg.apache.
flink
flink
-java1.10.1org.apache.
flink
flink
-streaming-java
浅唱战无双
·
2025-07-05 15:22
flink
mysql
es
redis
kafka
Flink
TiDB CDC 环境配置与验证
一、TiDB数据库核心配置1.启用TiCDC服务确保TiDB集群已部署TiCDC组件(版本需兼容
Flink
CDC3.0.1),并启动同步服务:#示例:启动TiCDC捕获changefeedcdcclichangefeedcreate
·
2025-07-05 14:20
Flink
CDC支持Oracle RAC架构CDB+PDB模式的实时数据同步吗,可以上生产环境吗
众所周知,
Flink
CDC是一个流数据集成工具,支持多种数据源的实时数据同步,包括大家所熟知的MySQL,MongoDB等。
智海观潮
·
2025-07-05 14:20
Flink
flink
cdc
oracle
flink
数据同步
大数据
Flink
Oracle CDC 环境配置与验证
一、Oracle数据库核心配置详解1.启用归档日志(ArchivingLog)OracleCDC依赖归档日志获取增量变更数据,需按以下步骤启用:非CDB数据库配置:--以DBA身份连接数据库CONNECTsys/passwordASSYSDBA;--配置归档目标路径和大小ALTERSYSTEMSETdb_recovery_file_dest_size=10G;ALTERSYSTEMSETdb_re
·
2025-07-05 14:20
flink
读取kafka的数据处理完毕写入redis
/**从Kafka读取数据处理完毕写入Redis*/publicclassKafkaToRedis{publicstaticvoidmain(String[]args)throwsException{StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();//开启checkpointing
JinVijay
·
2025-07-05 14:48
flink
kafka
redis
flink
阿里云
Flink
:开启大数据实时处理新时代
走进阿里云
Flink
在大数据处理的广袤领域中,阿里云
Flink
犹如一颗璀璨的明星,占据着举足轻重的地位。随着数据量呈指数级增长,企业对数据处理的实时性、高效性和准确性提出了前所未有的挑战。
云资源服务商
·
2025-07-05 02:56
阿里云
大数据
云计算
国密算法如何守护金融安全?7大核心场景全解析
目录一、主要应用场景1.基础设施安全2.身份认证与访问管理3.交易安全与不可否认性4.数据安全5.支付清算与结算6.移动金融安全7.风控与
反欺诈
二、商用密码应用带来的核心价值三、面临的挑战与趋势四、首传信安解决方案总结金融领域的安全需求是一个极其严苛
南京首传信安科技有限公司
·
2025-07-03 07:29
密码应用
密码应用
金融安全
大数据集群架构hadoop集群、Hbase集群、zookeeper、kafka、spark、
flink
、doris、dataeas(二)
zookeeper单节点部署wget-chttps://dlcdn.apache.org/zookeeper/zookeeper-3.8.4/apache-zookeeper-3.8.4-bin.tar.gz下载地址tarxfapache-zookeeper-3.8.4-bin.tar.gz-C/data/&&mv/data/apache-zookeeper-3.8.4-bin//data/zoo
争取不加班!
·
2025-07-03 00:05
hadoop
hbase
zookeeper
大数据
运维
Hadoop、Spark、
Flink
三大大数据处理框架的能力与应用场景
一、技术能力与应用场景对比产品能力特点应用场景Hadoop-基于MapReduce的批处理框架-HDFS分布式存储-容错性强、适合离线分析-作业调度使用YARN-日志离线分析-数据仓库存储-T+1报表分析-海量数据处理Spark-基于内存计算,速度快-支持批处理、流处理(StructuredStreaming)-支持SQL、ML、图计算等-支持多语言(Scala、Java、Python)-近实时处
·
2025-07-02 13:45
数据同步工具对比:Canal、DataX与
Flink
CDC
Canal、DataX和
Flink
CDC作为三种主流的数据同步工具,各自有着不同的设计理念和适用场景。本文将深入探讨这三者的技术特点、使用场景以及实践中的差异,帮助开发者根据实际需求选择合适的工具。
智慧源点
·
2025-07-01 05:35
大数据
flink
大数据
4_
Flink
CEP
Flink
CEP1、何为CEP?CEP,全称为复杂事件处理(ComplexEventProcessing),是一种用于实时监测和分析数据流的技术。
frimiku
·
2025-07-01 05:35
flink
大数据
云计算
Flink
项目基础配置指南
在大数据处理领域,Apache
Flink
凭借强大的实时流处理和批处理能力,成为众多开发者的首选工具。
Edingbrugh.南空
·
2025-06-29 16:58
flink
大数据
flink
大数据
Apache SeaTunnel
Flink
引擎执行流程源码分析
目录1.任务启动入口2.任务执行命令类:
Flink
TaskExecuteCommand3.
Flink
Execution的创建与初始化3.1核心组件初始化3.2关键对象说明4.任务执行:
Flink
Execution.execute
Code Monkey’s Lab
·
2025-06-29 16:26
源码分析
Flink
flink
大数据
架构
seatunnel
Beam2.61.0版本消费kafka重复问题排查
1.问题出现过程在测试环境测试
flink
的job的任务消费kafka的情况,通过往job任务发送一条消息,然后
flink
webui上消费出现了两条。
隔壁寝室老吴
·
2025-06-28 13:09
kafka
linq
分布式
Flink
CDC同步Oracle无主键表
Flink
CDC同步Oracle无主键表问题背景问题解决问题背景
Flink
CDC是一种很强大且实用的实时数据同步工具,官网如下。
Zzz...209
·
2025-06-27 21:27
java
flink
oracle
Flink
Oracle CDC Connector详解
1.
Flink
OracleCDCConnector核心功能功能模块描述实时数据捕获实时捕捉Oracle数据库中的DML操作(INSERT,UPDATE,DELETE)。
24k小善
·
2025-06-27 21:55
flink
java
大数据
Apache
Flink
深度解析:现代流处理引擎
好的,我来帮您写一篇关于
Flink
技术的详细介绍博客:Apache
Flink
深度解析:现代流处理引擎一、
Flink
简介Apache
Flink
是一个开源的分布式流处理和批处理统一计算引擎。
暴躁哥
·
2025-06-27 21:23
大数据技术
apache
flink
大数据
Flink
SQL Connector Kafka 核心参数全解析与实战指南
Flink
SQLConnectorKafka是连接
Flink
SQL与Kafka的核心组件,通过将Kafka主题抽象为表结构,允许用户使用标准SQL语句完成数据读写操作。
Edingbrugh.南空
·
2025-06-27 13:29
kafka
flink
大数据
flink
sql
kafka
Flink
部署与应用——
Flink
集群模式
Flink
集群模式在大数据处理领域,Apache
Flink
凭借其卓越的流批一体化处理能力,成为众多企业的首选框架。
黄雪超
·
2025-06-27 08:59
从0开始学Flink
flink
大数据
Spark Streaming 与
Flink
实时数据处理方案对比与选型指南
SparkStreaming与
Flink
实时数据处理方案对比与选型指南实时数据处理在互联网、电商、物流、金融等领域均有大量应用,面对海量流式数据,SparkStreaming和
Flink
成为两大主流开源引擎
浅沫云归
·
2025-06-27 02:10
后端技术栈小结
spark-streaming
flink
real-time
现代数据湖架构全景解析:存储、表格式、计算引擎与元数据服务的协同生态
本文全面剖析现代数据湖架构的核心组件,深入探讨对象存储(OSS/S3)、表格式(Iceberg/Hudi/DeltaLake)、计算引擎(Spark/
Flink
/Presto)及元数据服务(HMS/Amoro
讲文明的喜羊羊拒绝pua
·
2025-06-26 00:46
大数据
架构
数据湖
Spark
Iceberg
Amoro
对象存储
69、
Flink
的 DataStream Connector 之 Kafka 连接器详解
1.概述
Flink
提供了Kafka连接器使用精确一次(Exactly-once)的语义在Kafkatopic中读取和写入数据。目前还没有
Flink
1.19可用的连接器。
猫猫爱吃小鱼粮
·
2025-06-25 20:18
Flink-1.19
从0到精通
flink
kafka
大数据
Flink
SourceFunction深度解析:数据输入的起点与奥秘
在
Flink
的数据处理流程中,StreamGraph构建起了作业执行的逻辑框架,而数据的源头则始于SourceFunction。
Edingbrugh.南空
·
2025-06-25 15:07
flink
大数据
flink
大数据
【
Flink
实战】
Flink
SQL 中处理字符串 `‘NULL‘` 并转换为 `BIGINT`
文章目录一、问题描述解决方案解释一、问题描述当我们尝试将字符串'NULL'直接转换为BIGINT时,会遇到NumberFormatException,因为'NULL'不是一个有效的数字字符串。为了避免这种错误,我们需要在转换之前进行检查。解决方案我们可以使用CASE语句来实现条件转换。具体步骤如下:使用CASE语句进行条件判断:检查字符串是否为'NULL',如果是'NULL',则返回0;否则,将字
roman_日积跬步-终至千里
·
2025-06-25 14:35
#
flink
实战
sql
flink
数据库
Flink
状态和容错-基础篇
1.概念
flink
的状态和容错绕不开3个概念,statebackends和checkpoint、savepoint。本文重心即搞清楚这3部分内容。容错机制是基于在状态快照的一种恢复方式。
有数的编程笔记
·
2025-06-25 14:03
Flink
flink
大数据
flink
:风控/
反欺诈
检测系统案例研究1,2,3
https://
flink
.apache.org/news/2020/01/15/demo-fraud-detection.htmlhttps://
flink
.apache.org/news/2020/
菠萝科技
·
2025-06-25 08:22
java·未分类
flink
flink
风控
欺诈
实时
反欺诈
:基于 Spring Boot 与
Flink
构建信用卡风控系统
本文将详细介绍如何利用SpringBoot和Apache
Flink
这对强大的组合,构建一个高性能、可扩展的实时信用卡
反欺诈
系统。
程序员leon
·
2025-06-25 07:45
风控
大数据系列
spring
boot
flink
后端
风控
Flink
SQL解析工具类实现:从SQL到数据血缘的完整解析
在大数据处理领域,
Flink
SQL作为流批统一的声明式编程接口,已成为数据处理的核心组件。
Edingbrugh.南空
·
2025-06-24 14:39
flink
大数据
flink
sql
大数据
探秘
Flink
Connector加载机制:连接外部世界的幕后引擎
在
Flink
的数据处理生态中,SourceFunction负责数据的输入源头,而真正架起
Flink
与各类外部存储、消息系统桥梁的,则是Connector。
Edingbrugh.南空
·
2025-06-24 14:38
flink
大数据
flink
大数据
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他