E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Flink从无到有
使用
Flink
CDC 实现 MySQL 数据,表结构实时入 Apache Doris
背景现有数据库:mysql数据:库表较多,每个企业用户一个分库,每个企业下的表均不同,无法做到聚合,且表可以被用户随意改动,增删改列等,增加表分析:用户自定义分析,通过拖拽定义图卡,要求实时,点击确认即出现相应结果,其中有无法预判的过滤问题:随业务增长,企业用户越来越多,mysql压力越来越大,已经出现一些图卡加载过慢[mysqlsql]同步流程脚本读取mysql中需要同步的企业,在获取需要同步的
一天两晒网
·
2025-03-01 18:42
doris
mysql
flink
doris
flink
cdc
Streaming ELT 同步 MySQL 到 StarRocks
StreamingELT同步MySQL到StarRocks这篇教程将展示如何基于
Flink
CDC快速构建MySQL到StarRocks的StreamingELT作业,包含整库同步、表结构变更同步和分库分表同步的功能
慧一居士
·
2025-03-01 17:39
大数据
mysql
数据库
kafka stream对比
flink
KafkaStreams和Apache
Flink
虽然都支持实时计算,但它们的定位、架构和适用场景存在显著差异。选择哪一个取决于具体的需求、场景和技术栈。
后季暖
·
2025-02-28 14:23
kafka
flink
分布式
国产唯一开源湖仓框架LakeSoul 2.0 重磅升级:支持快照回滚、
Flink
和Hive对接
首先,附上Github链接LakeSoul:https://github.com/meta-soul/LakeSoul,可搜索公众号元灵数智,在底部菜单了解我们-用户交流获取官方技术交流群二维码,进群与业内大佬进行技术交流。DMetaSoul团队于7月初发布了LakeSoul2.0版本,对1.0版本进行了多方面升级优化,提高了自身架构设计的灵活性,也更好地适应客户未来业务高速发展的需要。2.0版本
元灵数智
·
2025-02-28 00:52
大数据
数据库
spark
Flink
连接kerberos认证的hive 并使用table API
有个问题
flink
的kerveros通过配置设置。但是HiveCatalog还需要再次使用UserGroupInformation再次认证。
lisacumt
·
2025-02-27 05:27
flink
hive
大数据
Flink
事件时间案例:电商订单实时分析的奇妙之旅[特殊字符]
Flink
事件时间案例:电商订单实时分析的奇妙之旅嘿,小伙伴们!
狮歌~资深攻城狮
·
2025-02-26 22:27
linq
c#
深入理解
Flink
中的 .name() 和 .uid() 方法
在Apache
Flink
中,.name()和.uid()是两个常用的配置方法。
Ray.1998
·
2025-02-26 15:06
大数据
flink
kafka
spark
hive
hadoop
Flink
Checkpoint机制详解
Apache
Flink
作为流处理的领先框架,提供了一种强大的机制来确保系统的容错性与数据的一致性,这就是
Flink
的Checkpoint机制。
Ray.1998
·
2025-02-26 15:05
大数据
flink
大数据
开发语言
spark
zookeeper
kafka
hive
Spring Boot中整合
Flink
CDC 数据库变更监听器来实现对MySQL数据库
Flink
CDC(ChangeDataCapture)是
Flink
的一种数据实时获取的扩展,用于捕获数据库中的数据变化,并且通过实时流式处理机制来操作这些变化的数据,在
Flink
CDC中通过Debezium
坚定信念,勇往无前
·
2025-02-26 14:01
java
数据库
spring
boot
flink
华为云FusionInsight MRS
Flink
SQL 复杂嵌套Json解析最佳实践
Flink
作为流批一体的计算引擎,致力于提供一套SQL支持全部应用场景,
Flink
SQL的实现也完全遵循AN
华为云技术精粹
·
2025-02-26 14:59
云计算
华为云
图数据库的易用性—GES与
Flink
的对接
数字化时代,业务的实时处理需求越来越迫切,实时预警、实时风控、实时推荐等,
Flink
作为新一代流批统一的计算引擎,具有独特的天然流式计算特性和更为先进的架构设计的特点,它可以从不同的第三方存储引擎中读取数据
华为云技术精粹
·
2025-02-26 14:59
云计算
华为云
消息中间件 --- Apache Pulsar
OpenMessaging协议实现(透明层协议)场景3:流式队列:自定义Kafka0.8-Source(Source开发)场景4:流式队列:Function消息过滤(消息过滤)场景5:流式队列:Pulsar
Flink
Connector
johnrui
·
2025-02-26 11:11
云计算
Flink
-02-
flink
技术架构及工作原理
Flink
组件栈自下而上,分别针对每一层进行解释说明:Deployment该层主要涉及了
Flink
的部署模式,
Flink
支持多种部署模式:本地、集群(Standalone/YARN)、云(GCE/EC2
TRX1024
·
2025-02-26 10:35
Flink
Flink
集群架构
在上一章节我们对
flink
有了一个基本的了解。从它的应用的场景以及它的一些基本的一些核心的一些概念。
流量留
·
2025-02-26 06:32
Apache
Flink
FLINK
java
运维
数据库
DeepSeek做3D动画,太猛了
这次我们将把Deepseek、即梦AI、混元3D、Blender、Mixamo这些强大的AI工具,
从无到有
,打造出一个全新的萌趣十足的Q版哪吒3D动画。那我们来看看具体有哪些步骤。
大模型微调教程
·
2025-02-26 03:42
3d
人工智能
自然语言处理
零售
机器学习
大模型
deepseek
maven引包爆红 failed to transfer from http://maven.aliyun.com/nexus/content/groups/public during a previ
之前一致可以正常使用,然后突然无法引入新的包无法引包org.apache.
flink
:
flink
-streaming-java_2.12:pom:1.13.1failedtotransferfromhttp
sui5yue6_
·
2025-02-25 15:21
maven
java
《聊聊
Flink
:大数据世界的神秘“小能手”》
《聊聊
Flink
:大数据世界的神秘“小能手”》宝子们,咱今天来唠唠一个有点神秘的东西——
Flink
。你要是刚听到这个名字,可能会觉得像什么魔法咒语似的。其实啊,它可没那么玄乎,但确实挺厉害的。
狮歌~资深攻城狮
·
2025-02-25 15:18
大数据技术
大数据
构建多维度用户特征矩阵,开发基于
Flink
CEP的高风险用户识别模型
基于
Flink
SQLCEP构建多维度用户特征矩阵与高风险用户识别模型,需结合实时特征计算、动态规则管理和复杂事件检测能力。
千叶真尹
·
2025-02-23 08:12
linq
c#
大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构
已更完)MapReduce(已更完)Hive(已更完)Flume(已更完)Sqoop(已更完)Zookeeper(已更完)HBase(已更完)Redis(已更完)Kafka(已更完)Spark(已更完)
Flink
m0_74823705
·
2025-02-22 21:50
面试
学习路线
阿里巴巴
大数据
架构
优化
Flink
消费 Kafka 数据的速度:实战指南
在使用
Flink
消费Kafka数据时,你可能会遇到消费速率较慢的问题。
Ray.1998
·
2025-02-22 11:01
大数据
flink
kafka
大数据
【
Flink
实战】
Flink
网络内存和托管内存
网络内存配置项2.托管内存二、网络内存与托管内存的关系1、互相依赖,优化执行性能2、基于任务特性设置内存分配3、内存竞争与背压机制网络内存主要负责Taskmanager之间的网络数据传输的内存,托管内存主要负责
Flink
roman_日积跬步-终至千里
·
2025-02-22 09:46
#
flink
实战
flink
网络
服务器
【
Flink
实战】
Flink
中 Akka 通信与内存占用分析
Akka是
Flink
中一个分布式通信框架,负责处理集群内各个组件之间的消息传递、任务调度、状态更新以及故障恢复等操作。
roman_日积跬步-终至千里
·
2025-02-22 09:45
#
flink
实战
flink
大数据
鹰角基于
Flink
+ Paimon + Trino 构建湖仓一体化平台实践项目
摘要:本文整理自鹰角大数据开发工程师,ApacheHudiContributor朱正军老师在
Flink
ForwardAsia2024生产实践(二)专场中的分享。
·
2025-02-21 19:13
flink大数据实时计算
mysql实时同步到es
测试了多个方案同步,最终选择oceanu产品,底层基于
Flink
cdc1、实时性能够保证,binlog量很大时也不产生延迟2、配置SQL即可完成,操作上简单下面示例mysql的100张分表实时同步到es
·
2025-02-20 17:22
数据库
Flink
CDC报错ArrayIndexOutOfBoundsException解决思路
Flink
CDC用两个并行度会报错。一个并行度就不会报错。不知道是什么原因?同步java.lang.ArrayIndexOutOfBoundsException?
学亮编程手记
·
2025-02-20 08:53
大数据
flink
doris
Flink
源码笔记03—StreamGraph到JobGraph
文章目录简介入口函数traverseStreamGraphAndGenerateHashesgenerateDeterministicHashgenerateUserSpecifiedHashsetChainingisChainable简介JobGraph可以认为是StreamGraph的优化图,它将一些符合特定条件的operators合并成一个operatorchain,以减少数据在节点之间序列
董嘻嘻
·
2025-02-19 07:29
Flink源码笔记
flink
java
big
data
flink
核心特性
Apache
Flink
核心特性详解一、流处理与批处理的统一
Flink
的核心设计理念之一是将流处理和批处理统一在一个框架中。这种统一性使得
Flink
在处理实时数据和批量数据时具有高度的灵活性和一致性。
24k小善
·
2025-02-19 06:55
flink
大数据
java
架构
flink
反压详解
Flink
背压/反压(Backpressure)详解在Apache
Flink
中,背压(Backpressure)是一个常见的性能问题,通常表现为数据流在某些节点处积压,导致整体处理速度下降甚至停滞。
24k小善
·
2025-02-19 06:55
flink
架构
大数据
AI编程
十四、
Flink
源码阅读--JobGraph生成过程
publicJobSubmissionResultrun(
Flink
Plancompil
灰二和杉菜
·
2025-02-19 06:54
Apache
Flink
Flink
JobGraph生成源码分析
最新Apache Hudi 1.0.1源码编译详细教程以及常见问题处理
1.最新ApacheHudi1.0.1源码编译2.
Flink
、Spark、Hive集成Hudi1.0.13.
flink
streaming写入hudi目录1.版本介绍2.安装maven2.1.下载maven2.2
Toroidals
·
2025-02-19 06:51
大数据组件安装部署教程
hudi1.0.1
源码编译
教程
最新
Flink
提交py
flink
任务
1.官方文档:
flink
1.14:https://nightlies.apache.org/
flink
/
flink
-docs-release-1.14/docs/deployment/cli/#submitting-py
flink
-jobs
flink
1.18
Leo_Hu666
·
2025-02-17 18:59
flink
大数据
python
pyflink
Flink
在指定时间窗口内统计均值,超过阈值后报警
2、思路使用
flink
的双流join,配置数据使用广播流,设备数据使用普通流。3、实现代码packagecu.
小的~~
·
2025-02-17 17:49
flink
均值算法
大数据
Flink
SQL 优化实战 - 维表 JOIN 优化
作者:龙逸尘,腾讯CSIG高级工程师背景介绍维表(DimensionTable)是来自数仓建模的概念。在数仓模型中,事实表(FactTable)是指存储有事实记录的表,如系统日志、销售记录等,而维表是与事实表相对应的一种表,它保存了事实表中指定属性的相关详细信息,可以跟事实表做关联;相当于将事实表上经常重复出现的属性抽取、规范出来用一张表进行管理。在实际生产中,我们经常会有这样的需求,以原始数据流
腾讯云大数据
·
2025-02-17 04:01
大数据
数据库
flink
sql
阿里云RDS到亚马逊云RDS的实时数据同步方案详解
KDA基于Apache
Flink
,支持使用SQL或J
ivwdcwso
·
2025-02-17 00:33
运维
阿里云
云计算
aws
kda
数据同步
Flink
安装阿里云docker compose部署及相关组件
Flink
安装脚本文件version:"2.2"services:jobmanager:image:
flink
:1.15.2-java11expose:-"6123"ports:-"8081:8081"
vellerzheng
·
2025-02-16 21:08
部署运维
flink
docker
大数据
使用Docker搭建
Flink
集群
目录使用Docker搭建
Flink
集群docker-compose一键搭建步骤附录参考资料使用Docker搭建
Flink
集群在学习大数据框架的时候,需要一个真实的环境。
O_1CxH
·
2025-02-16 20:34
Flink大数据
Kafka大数据
docker
flink
容器
Spark 和
Flink
Spark和
Flink
都是目前流行的大数据处理引擎,但它们在架构设计、应用场景、性能和生态方面有较大区别。
信徒_
·
2025-02-16 12:04
spark
flink
大数据
Flink
-k8s弹性扩缩容原理和部署步骤
背景和现状目前行内提交
flink
作业采用Nativekubernetes模式,提交作业时会指定并行度和taskmanager使用的内存及cpu数量。
spring208208
·
2025-02-16 07:21
flink
kubernetes
贪心算法
20250124
Flink
增量聚合 vs 全量聚合
1.增量聚合vs全量聚合(1)增量聚合(ReduceFunction/AggregateFunction)工作方式:逐步计算:每一条数据到达窗口时,立即与当前聚合结果结合,生成新的中间结果。仅保存中间状态:内存中只保留当前的聚合值(如累加和、最大值等),不保存原始数据。触发窗口计算时:直接输出最终的聚合结果,无需遍历所有数据。示例:计算窗口内数字的和DataStreamnumbers=...;nu
靈臺清明
·
2025-02-15 07:18
Flink
flink
Flink
CDC 在阿里云 DataWorks 数据集成入湖场景的应用实践
摘要:本文整理自
Flink
ForwardAsia2024大会中阿里云DataWorks数据集成团队陈吉通的分享,主要分享
Flink
CDC在阿里云DataWorks数据集成入湖场景的应用实践。
·
2025-02-14 13:18
大数据flink阿里云数据分析
Flink
-提交job
目录一、
Flink
流处理扩展及说明二、
Flink
部署三、Standalone模式四、在命令行提交job:五、在网页中提交
flink
job一、
Flink
流处理扩展及说明涉及:自定义线程优先级=socket
笨鸟先-森
·
2025-02-14 07:51
大数据
flink
Flink
实践教程-入门(10):Python作业的使用
作者:腾讯云流计算Oceanus团队流计算Oceanus简介流计算Oceanus是大数据产品生态体系的实时化分析利器,是基于Apache
Flink
构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台
腾讯云大数据
·
2025-02-14 07:17
数据库
大数据
java
python
数据分析
py
flink
作业提交的踩坑过程,看完少走两个星期弯路
flink
在努力地将Python生态和大数据生态融合,但目前的版本还不够成熟,尤其是在官方对python现有资料有限的情况下,用户想要使用python完成一个
flink
job并提交到
flink
平台上,还是有很多雷需要踩的
Li_yi_chao
·
2025-02-14 07:16
大数据
Paimon实战 -- paimon原理解析
一.简介ApachePaimon原名
Flink
TableStore,2022年1月在Apache
Flink
社区从零开始研发,
Flink
社区希望能够将
Flink
的Streaming实时计算能力和Lakehouse
阿华田512
·
2025-02-13 14:06
Paimon学习必读系列
paimon
数据湖
paimon介绍
flink写入
paimon实战 --核心原理和
Flink
应用进阶
简介
Flink
社区希望能够将
Flink
的Streaming实时计算能力和Lakehouse新架构优势进一步结合,推出新一代的StreamingLakehouse技术,促进数据在数据湖上真正实时流动起来,
阿华田512
·
2025-02-13 14:36
Paimon学习必读系列
Flink学习必读系列
flink
大数据
flink读写
paimon
数据湖
【Apache Paimon】-- 16 -- 利用 paimon-
flink
-action 同步 kafka 数据到 hive paimon 表中
目录引言CDC技术概述2.1什么是CDC2.2CDC的应用场景Kafka作为CDC数据源的原理与优势3.1Kafka的基本架构3.2Kafka在CDC中的角色
oo寻梦in记
·
2025-02-13 14:02
Apache
Paimon
apache
flink
kafka
apache
paimon
paimon
flink
实时集成利器 - apache seatunnel - 核心架构详解
它支持多种数据源和数据目标,并可以与Apache
Flink
、Spark等计算引擎集成。
24k小善
·
2025-02-12 23:38
flink
apache
架构
Flink
怎么保证Exactly - Once 语义
Exactly-Once语义是消息处理领域中的一种严格数据处理语义,指每条数据都只会被精确消费和处理一次,既不会丢失,也不会重复。以下从消息传递语义对比、实现方式、应用场景等方面详细介绍:与其他消息传递语义对比在消息传递中,常见三种语义:最多一次(at-most-once):消息可能丢失,但绝不会重复。至少一次(at-least-once):消息不会丢失,但可能重复。精确一次(exactly-on
我明天再来学Web渗透
·
2025-02-12 23:07
后端技术总结
flink
大数据
开源
开发语言
Flink
内存配置和优化
在Apache
Flink
1.18的Standalone集群中,内存设置是一个关键配置,它直接影响集群的性能和稳定性。
Flink
的内存配置主要包括JobManager和TaskManager的内存分配。
Leo_Hu666
·
2025-02-12 22:02
flink
大数据
Flink
入门-通过DataStream Api实现消费欺诈检测
1信用卡消费欺诈信用卡消费欺诈是指在信用卡的使用过程中,通过不正当手段获取或使用信用卡资金,侵犯他人或银行的财产权益的行为。这种行为可能包括但不限于盗刷、伪造信用卡、冒用他人信用卡、恶意透支等2模拟场景我们模拟不同账户的信用卡消费记录,通过分析实时的消费记录,针对常见的消费欺诈进行检测,检测出来的欺诈行为进行告警。3核心流程与代码1)通过TransactionSource构建消费记录,主要包含ac
似水_逆行
·
2025-02-12 22:56
Flink
flink
大数据
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他