E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
flink源码系列
Flink
连接kerberos认证的hive 并使用table API
有个问题
flink
的kerveros通过配置设置。但是HiveCatalog还需要再次使用UserGroupInformation再次认证。
lisacumt
·
2025-02-27 05:27
flink
hive
大数据
恢复更新--vue
源码系列
1之如何看源码
年过完了,是时候学习了(狗头)。文章目录前言一、前提二、如何看1.学会断点debuger2.整体看代码3.结合别人的vue源码解释总结前言本系列为vue2.6版本的源码分析系列一、前提你总不能一个vue的项目也没写过吧二、如何看1.学会断点debuger巧妙运用这个你会发现看源码会轻松很多。(相信我如果不是很快你就从入门到放弃)为什么?vue里面做了很多性能优化,参数初始化的工作,如果你全部看完,
@LitterFisher
·
2025-02-27 04:44
vue
vue.js
javascript
前端
Flink
事件时间案例:电商订单实时分析的奇妙之旅[特殊字符]
Flink
事件时间案例:电商订单实时分析的奇妙之旅嘿,小伙伴们!
狮歌~资深攻城狮
·
2025-02-26 22:27
linq
c#
深入理解
Flink
中的 .name() 和 .uid() 方法
在Apache
Flink
中,.name()和.uid()是两个常用的配置方法。
Ray.1998
·
2025-02-26 15:06
大数据
flink
kafka
spark
hive
hadoop
Flink
Checkpoint机制详解
Apache
Flink
作为流处理的领先框架,提供了一种强大的机制来确保系统的容错性与数据的一致性,这就是
Flink
的Checkpoint机制。
Ray.1998
·
2025-02-26 15:05
大数据
flink
大数据
开发语言
spark
zookeeper
kafka
hive
Spring Boot中整合
Flink
CDC 数据库变更监听器来实现对MySQL数据库
Flink
CDC(ChangeDataCapture)是
Flink
的一种数据实时获取的扩展,用于捕获数据库中的数据变化,并且通过实时流式处理机制来操作这些变化的数据,在
Flink
CDC中通过Debezium
坚定信念,勇往无前
·
2025-02-26 14:01
java
数据库
spring
boot
flink
华为云FusionInsight MRS
Flink
SQL 复杂嵌套Json解析最佳实践
Flink
作为流批一体的计算引擎,致力于提供一套SQL支持全部应用场景,
Flink
SQL的实现也完全遵循AN
华为云技术精粹
·
2025-02-26 14:59
云计算
华为云
图数据库的易用性—GES与
Flink
的对接
数字化时代,业务的实时处理需求越来越迫切,实时预警、实时风控、实时推荐等,
Flink
作为新一代流批统一的计算引擎,具有独特的天然流式计算特性和更为先进的架构设计的特点,它可以从不同的第三方存储引擎中读取数据
华为云技术精粹
·
2025-02-26 14:59
云计算
华为云
消息中间件 --- Apache Pulsar
OpenMessaging协议实现(透明层协议)场景3:流式队列:自定义Kafka0.8-Source(Source开发)场景4:流式队列:Function消息过滤(消息过滤)场景5:流式队列:Pulsar
Flink
Connector
johnrui
·
2025-02-26 11:11
云计算
Flink
-02-
flink
技术架构及工作原理
Flink
组件栈自下而上,分别针对每一层进行解释说明:Deployment该层主要涉及了
Flink
的部署模式,
Flink
支持多种部署模式:本地、集群(Standalone/YARN)、云(GCE/EC2
TRX1024
·
2025-02-26 10:35
Flink
Kafka 基础教程 — 可靠的数据传递
作者简介:大家好,我是码炫码哥,前中兴通讯、美团架构师,现任某互联网公司CTO,兼职码炫课堂主讲
源码系列
专题代表作:《jdk源码&多线程&高并发》,《深入tomcat源码解析》,《深入netty源码解析
码炫课堂-码哥
·
2025-02-26 10:33
kafka专题
kafka
消息队列
Flink
集群架构
在上一章节我们对
flink
有了一个基本的了解。从它的应用的场景以及它的一些基本的一些核心的一些概念。
流量留
·
2025-02-26 06:32
Apache
Flink
FLINK
java
运维
数据库
maven引包爆红 failed to transfer from http://maven.aliyun.com/nexus/content/groups/public during a previ
之前一致可以正常使用,然后突然无法引入新的包无法引包org.apache.
flink
:
flink
-streaming-java_2.12:pom:1.13.1failedtotransferfromhttp
sui5yue6_
·
2025-02-25 15:21
maven
java
《聊聊
Flink
:大数据世界的神秘“小能手”》
《聊聊
Flink
:大数据世界的神秘“小能手”》宝子们,咱今天来唠唠一个有点神秘的东西——
Flink
。你要是刚听到这个名字,可能会觉得像什么魔法咒语似的。其实啊,它可没那么玄乎,但确实挺厉害的。
狮歌~资深攻城狮
·
2025-02-25 15:18
大数据技术
大数据
构建多维度用户特征矩阵,开发基于
Flink
CEP的高风险用户识别模型
基于
Flink
SQLCEP构建多维度用户特征矩阵与高风险用户识别模型,需结合实时特征计算、动态规则管理和复杂事件检测能力。
千叶真尹
·
2025-02-23 08:12
linq
c#
大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构
已更完)MapReduce(已更完)Hive(已更完)Flume(已更完)Sqoop(已更完)Zookeeper(已更完)HBase(已更完)Redis(已更完)Kafka(已更完)Spark(已更完)
Flink
m0_74823705
·
2025-02-22 21:50
面试
学习路线
阿里巴巴
大数据
架构
优化
Flink
消费 Kafka 数据的速度:实战指南
在使用
Flink
消费Kafka数据时,你可能会遇到消费速率较慢的问题。
Ray.1998
·
2025-02-22 11:01
大数据
flink
kafka
大数据
【
Flink
实战】
Flink
网络内存和托管内存
网络内存配置项2.托管内存二、网络内存与托管内存的关系1、互相依赖,优化执行性能2、基于任务特性设置内存分配3、内存竞争与背压机制网络内存主要负责Taskmanager之间的网络数据传输的内存,托管内存主要负责
Flink
roman_日积跬步-终至千里
·
2025-02-22 09:46
#
flink
实战
flink
网络
服务器
【
Flink
实战】
Flink
中 Akka 通信与内存占用分析
Akka是
Flink
中一个分布式通信框架,负责处理集群内各个组件之间的消息传递、任务调度、状态更新以及故障恢复等操作。
roman_日积跬步-终至千里
·
2025-02-22 09:45
#
flink
实战
flink
大数据
分布式消息中间件(十三)——RocketMQ延时消息
作者简介:大家好,我是码炫码哥,前中兴通讯、美团架构师,现任某互联网公司CTO,兼职码炫课堂主讲
源码系列
专题代表作:《jdk源码&多线程&高并发》,《深入tomcat源码解析》,《深入netty源码解析
码炫课堂-码哥
·
2025-02-22 07:58
rocketmq专题
rocketmq
消息中间件
鹰角基于
Flink
+ Paimon + Trino 构建湖仓一体化平台实践项目
摘要:本文整理自鹰角大数据开发工程师,ApacheHudiContributor朱正军老师在
Flink
ForwardAsia2024生产实践(二)专场中的分享。
·
2025-02-21 19:13
flink大数据实时计算
mysql实时同步到es
测试了多个方案同步,最终选择oceanu产品,底层基于
Flink
cdc1、实时性能够保证,binlog量很大时也不产生延迟2、配置SQL即可完成,操作上简单下面示例mysql的100张分表实时同步到es
·
2025-02-20 17:22
数据库
Flink
CDC报错ArrayIndexOutOfBoundsException解决思路
Flink
CDC用两个并行度会报错。一个并行度就不会报错。不知道是什么原因?同步java.lang.ArrayIndexOutOfBoundsException?
学亮编程手记
·
2025-02-20 08:53
大数据
flink
doris
Flink
源码笔记03—StreamGraph到JobGraph
文章目录简介入口函数traverseStreamGraphAndGenerateHashesgenerateDeterministicHashgenerateUserSpecifiedHashsetChainingisChainable简介JobGraph可以认为是StreamGraph的优化图,它将一些符合特定条件的operators合并成一个operatorchain,以减少数据在节点之间序列
董嘻嘻
·
2025-02-19 07:29
Flink源码笔记
flink
java
big
data
flink
核心特性
Apache
Flink
核心特性详解一、流处理与批处理的统一
Flink
的核心设计理念之一是将流处理和批处理统一在一个框架中。这种统一性使得
Flink
在处理实时数据和批量数据时具有高度的灵活性和一致性。
24k小善
·
2025-02-19 06:55
flink
大数据
java
架构
flink
反压详解
Flink
背压/反压(Backpressure)详解在Apache
Flink
中,背压(Backpressure)是一个常见的性能问题,通常表现为数据流在某些节点处积压,导致整体处理速度下降甚至停滞。
24k小善
·
2025-02-19 06:55
flink
架构
大数据
AI编程
十四、
Flink
源码阅读--JobGraph生成过程
publicJobSubmissionResultrun(
Flink
Plancompil
灰二和杉菜
·
2025-02-19 06:54
Apache
Flink
Flink
JobGraph生成源码分析
最新Apache Hudi 1.0.1源码编译详细教程以及常见问题处理
1.最新ApacheHudi1.0.1源码编译2.
Flink
、Spark、Hive集成Hudi1.0.13.
flink
streaming写入hudi目录1.版本介绍2.安装maven2.1.下载maven2.2
Toroidals
·
2025-02-19 06:51
大数据组件安装部署教程
hudi1.0.1
源码编译
教程
最新
Flink
提交py
flink
任务
1.官方文档:
flink
1.14:https://nightlies.apache.org/
flink
/
flink
-docs-release-1.14/docs/deployment/cli/#submitting-py
flink
-jobs
flink
1.18
Leo_Hu666
·
2025-02-17 18:59
flink
大数据
python
pyflink
Flink
在指定时间窗口内统计均值,超过阈值后报警
2、思路使用
flink
的双流join,配置数据使用广播流,设备数据使用普通流。3、实现代码packagecu.
小的~~
·
2025-02-17 17:49
flink
均值算法
大数据
Flink
SQL 优化实战 - 维表 JOIN 优化
作者:龙逸尘,腾讯CSIG高级工程师背景介绍维表(DimensionTable)是来自数仓建模的概念。在数仓模型中,事实表(FactTable)是指存储有事实记录的表,如系统日志、销售记录等,而维表是与事实表相对应的一种表,它保存了事实表中指定属性的相关详细信息,可以跟事实表做关联;相当于将事实表上经常重复出现的属性抽取、规范出来用一张表进行管理。在实际生产中,我们经常会有这样的需求,以原始数据流
腾讯云大数据
·
2025-02-17 04:01
大数据
数据库
flink
sql
阿里云RDS到亚马逊云RDS的实时数据同步方案详解
KDA基于Apache
Flink
,支持使用SQL或J
ivwdcwso
·
2025-02-17 00:33
运维
阿里云
云计算
aws
kda
数据同步
Flink
安装阿里云docker compose部署及相关组件
Flink
安装脚本文件version:"2.2"services:jobmanager:image:
flink
:1.15.2-java11expose:-"6123"ports:-"8081:8081"
vellerzheng
·
2025-02-16 21:08
部署运维
flink
docker
大数据
使用Docker搭建
Flink
集群
目录使用Docker搭建
Flink
集群docker-compose一键搭建步骤附录参考资料使用Docker搭建
Flink
集群在学习大数据框架的时候,需要一个真实的环境。
O_1CxH
·
2025-02-16 20:34
Flink大数据
Kafka大数据
docker
flink
容器
Spark 和
Flink
Spark和
Flink
都是目前流行的大数据处理引擎,但它们在架构设计、应用场景、性能和生态方面有较大区别。
信徒_
·
2025-02-16 12:04
spark
flink
大数据
Flink
-k8s弹性扩缩容原理和部署步骤
背景和现状目前行内提交
flink
作业采用Nativekubernetes模式,提交作业时会指定并行度和taskmanager使用的内存及cpu数量。
spring208208
·
2025-02-16 07:21
flink
kubernetes
贪心算法
20250124
Flink
增量聚合 vs 全量聚合
1.增量聚合vs全量聚合(1)增量聚合(ReduceFunction/AggregateFunction)工作方式:逐步计算:每一条数据到达窗口时,立即与当前聚合结果结合,生成新的中间结果。仅保存中间状态:内存中只保留当前的聚合值(如累加和、最大值等),不保存原始数据。触发窗口计算时:直接输出最终的聚合结果,无需遍历所有数据。示例:计算窗口内数字的和DataStreamnumbers=...;nu
靈臺清明
·
2025-02-15 07:18
Flink
flink
Flink
CDC 在阿里云 DataWorks 数据集成入湖场景的应用实践
摘要:本文整理自
Flink
ForwardAsia2024大会中阿里云DataWorks数据集成团队陈吉通的分享,主要分享
Flink
CDC在阿里云DataWorks数据集成入湖场景的应用实践。
·
2025-02-14 13:18
大数据flink阿里云数据分析
Flink
-提交job
目录一、
Flink
流处理扩展及说明二、
Flink
部署三、Standalone模式四、在命令行提交job:五、在网页中提交
flink
job一、
Flink
流处理扩展及说明涉及:自定义线程优先级=socket
笨鸟先-森
·
2025-02-14 07:51
大数据
flink
Flink
实践教程-入门(10):Python作业的使用
作者:腾讯云流计算Oceanus团队流计算Oceanus简介流计算Oceanus是大数据产品生态体系的实时化分析利器,是基于Apache
Flink
构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台
腾讯云大数据
·
2025-02-14 07:17
数据库
大数据
java
python
数据分析
py
flink
作业提交的踩坑过程,看完少走两个星期弯路
flink
在努力地将Python生态和大数据生态融合,但目前的版本还不够成熟,尤其是在官方对python现有资料有限的情况下,用户想要使用python完成一个
flink
job并提交到
flink
平台上,还是有很多雷需要踩的
Li_yi_chao
·
2025-02-14 07:16
大数据
Paimon实战 -- paimon原理解析
一.简介ApachePaimon原名
Flink
TableStore,2022年1月在Apache
Flink
社区从零开始研发,
Flink
社区希望能够将
Flink
的Streaming实时计算能力和Lakehouse
阿华田512
·
2025-02-13 14:06
Paimon学习必读系列
paimon
数据湖
paimon介绍
flink写入
paimon实战 --核心原理和
Flink
应用进阶
简介
Flink
社区希望能够将
Flink
的Streaming实时计算能力和Lakehouse新架构优势进一步结合,推出新一代的StreamingLakehouse技术,促进数据在数据湖上真正实时流动起来,
阿华田512
·
2025-02-13 14:36
Paimon学习必读系列
Flink学习必读系列
flink
大数据
flink读写
paimon
数据湖
【Apache Paimon】-- 16 -- 利用 paimon-
flink
-action 同步 kafka 数据到 hive paimon 表中
目录引言CDC技术概述2.1什么是CDC2.2CDC的应用场景Kafka作为CDC数据源的原理与优势3.1Kafka的基本架构3.2Kafka在CDC中的角色
oo寻梦in记
·
2025-02-13 14:02
Apache
Paimon
apache
flink
kafka
apache
paimon
paimon
flink
实时集成利器 - apache seatunnel - 核心架构详解
它支持多种数据源和数据目标,并可以与Apache
Flink
、Spark等计算引擎集成。
24k小善
·
2025-02-12 23:38
flink
apache
架构
Flink
怎么保证Exactly - Once 语义
Exactly-Once语义是消息处理领域中的一种严格数据处理语义,指每条数据都只会被精确消费和处理一次,既不会丢失,也不会重复。以下从消息传递语义对比、实现方式、应用场景等方面详细介绍:与其他消息传递语义对比在消息传递中,常见三种语义:最多一次(at-most-once):消息可能丢失,但绝不会重复。至少一次(at-least-once):消息不会丢失,但可能重复。精确一次(exactly-on
我明天再来学Web渗透
·
2025-02-12 23:07
后端技术总结
flink
大数据
开源
开发语言
Flink
内存配置和优化
在Apache
Flink
1.18的Standalone集群中,内存设置是一个关键配置,它直接影响集群的性能和稳定性。
Flink
的内存配置主要包括JobManager和TaskManager的内存分配。
Leo_Hu666
·
2025-02-12 22:02
flink
大数据
Flink
入门-通过DataStream Api实现消费欺诈检测
1信用卡消费欺诈信用卡消费欺诈是指在信用卡的使用过程中,通过不正当手段获取或使用信用卡资金,侵犯他人或银行的财产权益的行为。这种行为可能包括但不限于盗刷、伪造信用卡、冒用他人信用卡、恶意透支等2模拟场景我们模拟不同账户的信用卡消费记录,通过分析实时的消费记录,针对常见的消费欺诈进行检测,检测出来的欺诈行为进行告警。3核心流程与代码1)通过TransactionSource构建消费记录,主要包含ac
似水_逆行
·
2025-02-12 22:56
Flink
flink
大数据
Flink
-DataStream快速上手
文章目录1.安装部署安装2.执行任务Standalone模式启动/停止执行任务Yarn模式Session-cluster模式启动yarn-session执行任务Per-Job-Cluster模式3.执行环境EnvironmentgetExecutionEnvironment(常用)createLocalEnvironmentcreateRemoteEnvironmentSource、SinkTra
code@fzk
·
2025-02-12 22:56
大数据
flink
大数据
java
Flink
之DataStream API 概述
DataStream程序主要包含3部分:1、StreamExecutionEnvironment初始化:该部分主要创建和初始化StreamExecutionEnvironment,提供通过DataStreamAPI构建
Flink
小虎牙_43437171
·
2025-02-12 21:23
flink
flink
大数据
java
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他