E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
flink实时数仓
Flink
1.17实战教程(第三篇:时间和窗口)
系列文章目录
Flink
1.17实战教程(第一篇:概念、部署、架构)
Flink
1.17实战教程(第二篇:DataStreamAPI)
Flink
1.17实战教程(第三篇:时间和窗口)
Flink
1.17实战教程
阿moments
·
2023-12-28 17:57
Flink
flink
java
大数据
Flink
1.17实战教程(第四篇:处理函数)
系列文章目录
Flink
1.17实战教程(第一篇:概念、部署、架构)
Flink
1.17实战教程(第二篇:DataStreamAPI)
Flink
1.17实战教程(第三篇:时间和窗口)
Flink
1.17实战教程
阿moments
·
2023-12-28 17:57
Flink
java
flink
big
data
Flink
项目实战篇 基于
Flink
的城市交通监控平台(上)
系列文章目录
Flink
项目实战篇基于
Flink
的城市交通监控平台(上)
Flink
项目实战篇基于
Flink
的城市交通监控平台(下)文章目录系列文章目录1.项目整体介绍1.1项目架构1.2项目数据流1.3项目主要模块
阿moments
·
2023-12-28 17:21
Flink
flink
大数据
scala
Dbeaver,Hudi,Hive,Spark,Presto应用问题及解决措施梳理
近期频繁在mysql源端数据通过底层位
Flink
的平台进行数据接入至Hudi,过程中出现了一些问题,也通过了其他办法进行解决,现将整个过程的思路进行总结,以供大家共同学习进步。
p1i2n3g4
·
2023-12-28 17:31
大数据
hive
spark
hadoop
Flink
导入StarRocks
1、pom依赖881.13.62.12org.apache.
flink
flink
-java${
flink
.version}org.apache.
flink
flink
-streaming-java_${scala.binary.version
docsz
·
2023-12-28 16:29
starrocks
Flink
在有赞实时计算的实践
其次是在调研阶段我们为什么选择了
Flink
。在这个部分,主要是
Flink
与Spark的structuredstreaming的一些对比和选择
Flink
的原因。
有赞技术团队
·
2023-12-28 15:11
flink
-1.11 native k8s 测试
flink
onk8s目前有两种模式:Kubernetes:用户通过定义
flink
的k8s资源描述文件,由kubectl命令启动,最终以standalonesessioncluster或standalonejobcluster
yuchuanchen
·
2023-12-28 15:35
k8s
flink-1.11
大数据
集度汽车
Flink
on native k8s 的应用与实践
摘要:本文整理自集度汽车数据部门实时方向负责人、Apache
Flink
Contributor周磊&集度汽车数据开发专家顾云,在FFA2022行业案例专场的分享。
Apache Flink
·
2023-12-28 15:05
汽车
flink
kubernetes
java
大数据
flink
k8s 安装 问题合集
Flink
kubernetessession部署方案参照
flink
官方文档https://nightlies.apache.org/
flink
/
flink
-docs-release-1.14/docs/
岁月不止
·
2023-12-28 15:05
kubernetes
kubernetes
flink
容器
flink
-1.10 native-k8s (Beta)
注意:
flink
-1.10版本的native-k8s还是实验版本,相关配置或客户端可能在未来变更。
yuchuanchen
·
2023-12-28 15:05
flink-1.10
k8s
job
submit
flink
kubernetes
Flink
开发利器StreamX
背景Hadoop体系虽然在目前应用非常广泛,但架构繁琐、运维复杂度过高、版本升级困难,且由于部门原因,数据中台需求排期较长,我们急需探索敏捷性开发的数据平台模式。在目前云原生架构的普及和湖仓一体化的大背景下,我们已经确定了将Doris作为离线数据仓库,将TiDB(目前已经应用于生产)作为实时数据平台,同时因为Doris具有onMySQL的odbc能力,所以又可以对外部数据库资源进行整合,统一对外输
Apache StreamPark
·
2023-12-28 15:34
StreamX
Flink
flink
大数据
big
data
一次在K8s上运行
Flink
的实录
本文先介绍一下K8s的ConfigMap资源和Ingress的基本概念,然后讲一下如何在K8s上部署
Flink
,最后看一下
Flink
的Operator又是怎么编写的ConfigMap问题背景:生产环境可能需要多个
小凯Alex
·
2023-12-28 15:04
k8s
【
flink
配置系列】
FLink
配置大全
FLink
配置文章目录
FLink
配置配置基本设置常见设置选项主机和端口容错可重试的清理检查点和状态后端高可用性内存配置杂项选项安全性SSL与外部系统进行身份验证资源编排框架YARNKubernetesStateBackendsRocksDBStateBackendMetricsRocksDB
BigDataMLApplication
·
2023-12-28 15:03
flink
flink
大数据
flink
on k8s(
Flink
1.15.0 on Native Kubernetes)
实验环境macOSx86-64minikube准备工作安装minikube下载安装curl-LOhttps://storage.googleapis.com/minikube/releases/latest/minikube-darwin-amd64sudoinstallminikube-darwin-amd64/usr/local/bin/minikubeminikubestart--drive
小迷糊同学
·
2023-12-28 15:33
大数据
macOS
笔记
kubernetes
big
data
flink
kubelet
Flink
1.17实战教程(第七篇:
Flink
SQL)
系列文章目录
Flink
1.17实战教程(第一篇:概念、部署、架构)
Flink
1.17实战教程(第二篇:DataStreamAPI)
Flink
1.17实战教程(第三篇:时间和窗口)
Flink
1.17实战教程
阿moments
·
2023-12-28 15:01
Flink
flink
sql
大数据
java
flink
1.13报错:The file STDOUT does not exist on the TaskExecutor
1.执行环境
flink
1.13jdk82.日志内容2022-08-2917:28:35.789[main]INFOorg.apache.
flink
.configuration.GlobalConfiguration
海若[MATRIX]
·
2023-12-28 15:01
#
--Flink
flink
大数据
log4j
Flink
on K8s 企业生产化实践
背景为了解决公司模型&特征迭代的系统性问题,提升算法开发与迭代效率,部门立项了特征平台项目。特征平台旨在解决数据存储分散、口径重复、提取复杂、链路过长等问题,在大数据与算法间架起科学桥梁,提供强有力的样本及特征数据支撑。平台从Hive、Hbase、关系型数据库等大数据ODS(OperationalDatastore)层进行快速的数据ETL,将数据抽取到特征平台进行管理,并统一了数据出口,供数据科学
house.zhang
·
2023-12-28 15:00
大数据
big
data
大数据
Py
Flink
on K8s 部署实践
Py
Flink
onK8s部署模式1.1
Flink
的部署模式https://blog.csdn.net/yunxiao6/article/details/1087052441.2Py
Flink
onK8sStandalone
bao_since
·
2023-12-28 15:28
Flink
Kubernetes
PyFlink
kubernetes
flink
使用streampark进行
flink
on k8s LoadBalancer配置域名访问
flink
ui
在使用yarn部署
flink
任务时,yarn自动代理了
flink
webui,通过yarn的地址即可访问任务web页面。
Java小田
·
2023-12-28 14:26
streampark
flink
k8s
Hadoop:
Flink
on Yarn服务配置与设置
之前打算直接在ambari上安装配置
flink
服务方便管理,但是发现ambari集成的
flink
会出现很多问题反而不方便管理(可能是没找到正确的方法),于是打算单独配置服务下载两个文件文件
flink
-1.10.1
william_cheng666
·
2023-12-28 13:14
Hadoop
hadoop
flink
Apache
Flink
1.14.4 on yarn ha环境搭建
Flink
支持多种安装模式Local—本地单机模式,学习测试时使用Standalone—独立集群模式,
Flink
自带集群,开发测试环境使用StandaloneHA—独立集群高可用模式,
Flink
自带集群
一位搬砖工
·
2023-12-28 13:14
flink
flink
flink
的onYarn模式环境搭建
一.onYarn模式把资源管理器交给yarn模式进行管理1.两种运行模式1)session-cluster模式session:会话,开辟一块新的公共的空间先启动集群,直接向yarn申请空间,资源(session)保持不变,这个集群会常驻在yarn的集群中,不需要时进行手动停止,job任务可以向这个session提交,所有任务共享这个session,如果资源用完,需要等待之间的任务执行完毕释放资源才
奶糖~
·
2023-12-28 13:14
flink
大数据
big
data
Apache
Flink
连载(五):Apache
Flink
快速入门 - 环境准备及入门案例
个人主页:IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主:加入大数据技术讨论群聊,获取更多大数据资料。博主个人B栈地址:豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录
IT贫道
·
2023-12-28 13:43
大数据计算体系技术栈
Apache
Flink
apache
flink
大数据
Apache
Flink
连载(十七):
Flink
On Standalone任务提交-Standalone Application模式
个人主页:IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主:加入大数据技术讨论群聊,获取更多大数据资料。博主个人B栈地址:豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录
IT贫道
·
2023-12-28 13:43
大数据计算体系技术栈
Apache
Flink
apache
flink
大数据
Apache
Flink
连载(十九):
Flink
On Yarn运行-Yarn Session模式
个人主页:IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主:加入大数据技术讨论群聊,获取更多大数据资料。博主个人B栈地址:豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.任务提交命令2.任务提交流程1.任务提交命令
IT贫道
·
2023-12-28 13:43
大数据计算体系技术栈
Apache
Flink
apache
flink
大数据
org.apache.
flink
.client.deployment.ClusterDeploymentException: Could not deploy Yarn job cluster.
在cdh集群上,通过如下命令,提交
flink
任务到yarn集群中:
flink
run-myarn-cluster-d-ynmmy_
flink
_jobxxx.jar报错,信息如下:org.apache.
flink
.client.program.ProgramInvocationException
赶路人儿
·
2023-12-28 13:42
#
flink
flink
Flink
1.8 on yarn 环境搭建及使用
一、下载
flink
包官网下载
flink
-1.8.1-bin-scala_2.11.tgz,然后解压下载地址https://
flink
.apache.org/downloads.html或https://
magic_kid_2010
·
2023-12-28 13:42
Flink
flink1.8
yarn
Flink
on Yarn实战
使用方式:
flink
的安装包解压之后,即可直接使用,而不需要额外的配置。
fancyChuan
·
2023-12-28 13:11
Flink实战
flink
flink
yarn
flink
on
yarn
Apache
Flink
连载(十八):
Flink
On Yarn运行原理及环境准备
博主个人B栈地址:豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.
Flink
OnYarn运行原理2.代码及Yarn环境准备
IT贫道
·
2023-12-28 13:40
大数据计算体系技术栈
Apache
Flink
apache
flink
大数据
hadoop hive spark
flink
安装
下载地址Indexof/distubuntu安装hadoop集群准备IP地址主机名称192.168.1.21node1192.168.1.22node2192.168.1.23node3上传hadoop-3.3.5.tar.gz、jdk-8u391-linux-x64.tar.gzJDK环境node1、node2、node3三个节点解压tar-zxvfjdk-8u391-linux-x64.tar
nsa65223
·
2023-12-28 11:59
hadoop
hive
spark
Flink
--DataSink学习
基于
flink
-1.8.1概述
flink
流式计算中需要经计算的结果进行输出(可以是msyql/hbase/ES等常见的DB或者filesystem,也可以是钉钉/邮件/短信等通知类信息),官网上成为connector
李小李的路
·
2023-12-28 09:36
Flink
on K8S生产集群使用StreamPark管理
(一)直接部署(手动测试用,不推荐)
Flink
onNativeKubernetes目前支持Application模式和Session模式,两者对比Application模式部署规避了Session模式的资源隔离问题
tuoluzhe8521
·
2023-12-28 02:38
Flink
flink
kubernetes
大数据
streampark
k8s
【知乎大数据技术】用
Flink
取代Spark Streaming!知乎
实时数仓
架构演进
从智能商业的角度来讲,数据的结果代表了用户的反馈,获取结果的及时性就显得尤为重要,快速的获取数据反馈能够帮助公司更快的做出决策,更好的进行产品迭代,
实时数仓
在这一过程中起到了不可替代的作用。
yoku酱
·
2023-12-27 19:34
基于
Flink
CDC 实现海量数据的实时同步和转换
摘要:本文整理自Apache
Flink
Committer,
Flink
CDCMaintainer,阿里巴巴高级开发工程师徐榜江(雪尽)在5月21日
Flink
CDCMeetup的演讲。
Apache Flink
·
2023-12-27 16:51
大数据
分布式
数据库
flink
深入解读
Flink
CDC 增量快照框架
导读:随着大数据的迅猛发展,企业越来越重视数据的价值,数据采集工具也在不断改进,实时采集工具也在由长链路向短链路发展,今天和大家分享一下
Flink
CDC技术。
学而知之@
·
2023-12-27 16:20
flink
大数据
数据库
Flink
Has Become the De-facto Standard of Streaming Compute
摘要:本文整理自Apache
Flink
中文社区发起人、阿里巴巴开源大数据平台负责人王峰(莫问),在
Flink
ForwardAsia2023主会场的分享。
Apache Flink
·
2023-12-27 16:20
flink
大数据
实战Java springboot 采用
Flink
CDC操作SQL Server数据库获取增量变更数据
ApplicationContextUtil7、自定义sink交由spring管理,处理变更数据前言:我的场景是从SQLServer数据库获取指定表的增量数据,查询了很多获取增量数据的方案,最终选择了
Flink
arden.WANG
·
2023-12-27 16:50
踩坑记录
java相关
数据库
java
spring
boot
flink
sqlserver
Flink
CDC介绍及原理
CDC(ChangeDataCapture)是一种用于捕捉数据库变更数据的技术,
Flink
从1.11版本开始原生支持CDC数据(changelog)的处理,目前已经是非常成熟的变更数据处理方案。
大大大大肉包
·
2023-12-27 16:49
flink
flink
大数据
深入解析
Flink
CDC 增量快照读取机制
一、
Flink
-CDC1.x痛点
Flink
CDC1.x使用Debezium引擎集成来实现数据采集,支持全量加增量模式,确保数据的一致性。
Light Gao
·
2023-12-27 16:47
flink
flink
大数据
flinkcdc
数据同步
mysql
Flink
实时电商数仓之Doris框架(七)
Doris框架大规模并行处理的分析型数据库产品。使用场景:一般先将原始数据经过清洗过滤转换后,再导入doris中使用。主要实现的功能有:实时看板面向企业内部分析师和管理者的报表面向用户或者客户的高并发报表分析即席查询统一数仓构建:替换了原来由Spark,Hive,Kudu,Hbase等旧框架数据湖联邦查询:通过外表的方式联邦分析位于Hive,IceBerg,Hudi中的数据Doris架构后端:C语
十七✧ᐦ̤
·
2023-12-27 16:47
flink
大数据
doris
Flink
输出至 Redis
【1】引入第三方Bahir提供的
Flink
-redis相关依赖包org.apache.bahir
flink
-connector-redis_2.111.0【2】
Flink
连接Redis并输出Sink处理结果
程序猿进阶
·
2023-12-27 14:16
Flink
flink
redis
大数据
java
面试
性能优化
后端
Flink
CDC 原理、实践和优化
本文基于腾讯云Oceanus提供的
Flink
CDC引擎,着重介绍
Flink
在变更数据捕获技术中的应用。一、CDC是什么?
坨坨的大数据
·
2023-12-27 14:33
Flink
on K8S集群搭建及StreamPark平台安装
1.环境准备1.1介绍在使用
Flink
&Spark时发现从编程模型,启动配置到运维管理都有很多可以抽象共用的地方,目前streampark提供了一个
flink
一站式的流处理作业开发管理平台,从流处理作业开发到上线全生命周期都做了支持
tuoluzhe8521
·
2023-12-27 10:45
flink
flink
kubernetes
大数据
StreamPark
Harbor
Flink
CDC从Mongodb同步数据至elasticsearch(ES) 新版
Flink
CDC从Mongodb同步数据至elasticsearch(ES)一、DataStreamingAPI方式pom.xml二、主程序-配置三、主程序四、其他问题一、DataStreamingAPI
tuoluzhe8521
·
2023-12-27 10:14
数据同步
mongodb
elasticsearch
flink
大数据
json
datax 同步mongodb数据库到hive(hdfs)和elasticserch(es)
(有点老了,后来发现
flink
cdc都只能监控一张表,多张表无法监控)2.datax版本:自己编译的DataX-datax_v2022103.hdfs版本:3.1.34.hive版本:3.1.2二、同步思路
tuoluzhe8521
·
2023-12-27 10:14
数据同步
mongodb
hive
数据库
json
hadoop
五分钟,Docker安装
flink
,并使用
flink
sql消费kafka数据
1、拉取
flink
镜像,创建网络dockerpull
flink
dockernetworkcreate
flink
-network2、创建jobmanager#创建JobManagerdockerrun\-
刘金宝_Arvin
·
2023-12-27 10:52
Docker
大数据
docker
flink
kafka
删除azkaban的执行历史
azkaban通常用在大数据任务调度场景,把任务提交之后,如果任务是spark,hive,hadoop,
flink
等任务的话,
飞有飞言
·
2023-12-27 07:09
Flink
去重计数统计用户数
1.数据订单表,分别是店铺id、用户id和支付金额"店铺id,用户id,支付金额","shop-1,user-1,1","shop-1,user-2,1","shop-1,user-2,1","shop-1,user-3,1","shop-1,user-3,1","shop-1,user-1,1","shop-1,user-2,1","shop-1,user-4,1","shop-2,user-4
不爱吃鱼的馋猫
·
2023-12-27 06:28
flink
大数据
Flink
-1.17集群部署
1、部署1.1、修改
flink
-conf.yaml1.1.1、
flink
-17jobmanager.rpc.address:boshi-122jobmanager.rpc.port:6123#设置jobmanager
docsz
·
2023-12-27 03:05
flink
flink
大数据
Flink
1.13 Checkpoint原理
介绍
Flink
具体如何保证exactly-once呢?它使用一种被称为"检查点"(checkpoint)的特性,在出现故障时将系统重置回正确状态。下面通过简单的类比来解释检查点的作用。
万事万物
·
2023-12-26 20:23
上一页
19
20
21
22
23
24
25
26
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他