E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
大数据框架flink
小米基于
Flink
的实时计算资源治理实践
摘要:本文整理自小米高级软件工程师张蛟,在
Flink
ForwardAsia2022生产实践专场的分享。
·
2023-08-15 18:32
后端flink大数据实时计算
芒果 TV 基于
Flink
的实时数仓建设实践
一、芒果TV实时数仓建设历程芒果TV实时数仓的建设共分为三个阶段,14-19年为第一阶段,技术选型采用Storm/
Flink
Java+SparkSQL
·
2023-08-15 18:00
后端flink大数据实时计算
日常节省 30%计算资源:阿里云实时计算
Flink
自动调优实践
摘要:本文整理自阿里云开发工程师,Apache
Flink
Contributor钟旭阳,在
Flink
ForwardAsia2022生产实践的分享。
·
2023-08-15 18:46
后端flink大数据实时计算
Apache
Flink
实时计算在美的多业务场景下的应用与实践
摘要:本文整理自美的集团实时数据负责人、资深数据架构师董奇,在
Flink
ForwardAsia2022主会场的分享。
·
2023-08-15 18:40
后端flink大数据实时计算
关于 Apache
Flink
和实时计算的最新动态、未来方向,你想知道的都在这里
Flink
ForwardAsia2021即将于1月8日开启,除了80+干货议题,还有哪些内容值得关注?本文带你一探究竟!
·
2023-08-15 18:02
阿里云实时计算
Flink
版线下训练营北京站来啦!
阿里云实时计算
Flink
版线下训练营北京站来啦!专家老师现场教学,真实还原实时计算业务和实时数仓场景,现场有机会领取
Flink
最新周边礼包!
·
2023-08-15 18:43
后端flink大数据实时计算
关于
flink
-sql-connector-phoenix的重写逻辑
目录重写意义代码结构调用链路POM文件配置代码解析一、PhoenixJdbcDynamicTableFactory
数据与后端架构提升之路
·
2023-08-15 17:16
Flink
flink
大数据
phoenix
想在DataGrip里写SQL般丝滑的写
Flink
SQL?安装它就完事儿了
版本日期备注1.02023.8.8文章首发本文首发于泊浮目的掘金:https://juejin.cn/user/1468603264665335“
Flink
SQL对于大数据开发者们来说是一个很常见的API
·
2023-08-15 16:08
30w+数据使用RedisTemplate的pipeline空指针NullPointerException异常分析
为了实现布控预警的业务需求,在
flink
流式处理时查询redis进行比对,然后方案是放在redis里的数据格式为Set,key使用的直接是布控对象的值,比如身份证号、车牌号、手机号、imsi码等等,然后
·
2023-08-15 16:20
Flink
_CDC搭建及简单使用
Flink
_CDC搭建及简单使用1.CDC简介:CDC(ChangeDataCapture),在广义的概念上,只要能捕获数据变更的技术,都可以称为CDC。
码猿小站
·
2023-08-15 16:50
数据同步
flink
mysql
同步
maven报错error while loading <root>, Error accessing
[ERROR]errorwhileloading,ErroraccessingD:\install\java\apache-maven-3.6.3\respository\org\apache\
flink
cclovezbf
·
2023-08-15 11:46
maven
java
Flink
中的时间语义 和WaterMark
1.
Flink
时间语义
Flink
定义了三类时间处理时间(ProcessTime)数据进入
Flink
被处理的系统时间(Operator处理数据的系统时间)事件时间(EventTime)数据在数据源产生的时间
Rex_2013
·
2023-08-15 10:00
基于Binlog与
Flink
实时同步数据仓库实践
转载:原文地址一、实时背景在数据仓库建模中,未经任何加工处理的原始业务层数据,我们称之为ODS(OperationalDataStore)数据。在互联网企业中,常见的ODS数据有业务日志数据(Log)和业务DB数据(DB)两类。对于业务DB数据来说,从MySQL等关系型数据库的业务数据进行采集,然后导入到Hive中,是进行数据仓库生产的重要环节。如何准确、高效地把MySQL数据同步到Hive中?一
秋慕云
·
2023-08-15 09:55
关于网络入侵检测领域使用Spark/
Flink
等计算框架做分布式
关于网络入侵检测领域使用Spark/
Flink
等计算框架做分布式0、引言1基于LightGBM的网络入侵检测研究2基于互信息法的智能化运维系统入侵检测Spark实现3基于Spark的车联网分布式组合深度学习入侵检测方法
不懂开发的程序猿
·
2023-08-15 08:44
网络安全与管理
分布式
网络
spark
Flink
网络入侵检测
kubernetes中PV和PVC
nfs-client-provisioner,实现NFS的动态PV创建1.配置nfs服务2.创建ServiceAccount3.使用Deployment来创建NFSProvisioner3.1由于1.20版本启用了sel
fLink
q1y2y3
·
2023-08-15 08:38
kubernetes
容器
云原生
docker-compose安装
yuminstalldocker-compose-plugin查看版本dockercomposeversion创建docker-compose.ymlversion:"3.7"services:jobmanager:image:
flink
陈煜的博客
·
2023-08-15 06:13
docker
容器
运维
CoProcessFunction实战三部曲之一:基本功能
Java、Docker、Kubernetes、DevOPS等;关于《CoProcessFunction实战三部曲》系列《CoProcessFunction实战三部曲》旨在通过三次实战,由浅入深的学习和掌握
Flink
程序员欣宸
·
2023-08-15 06:08
Flink
笔记
下面是你提供的文字整理后的结果:1.
Flink
是一个针对流数据和批数据的分布式处理引擎,同时支持原生流处理的开源框架。-延迟低(毫秒级),且能够保证消息传输不丢失不重复。
李父贵
·
2023-08-15 01:13
大数据
flink
大数据
一文搞懂
Flink
OperatorChain 对象重用
OperatorChain的对象重用,可以提高效率,但什么情况下可以重用,什么情况下不可以重用,我们一起来看你一下代码:首先,在OperatorChain类的createChainedOperator方法privateWatermarkGaugeExposingOutput>createChainedOperator(StreamTaskcontainingTask,StreamConfigope
学木
·
2023-08-15 00:04
Flink
1.10之改进的TaskManager内存模型与配置
前言
Flink
社区在FLIP-49提出了新版统一的TaskManager内存模型及配置,这也是
Flink
1.10版本最主要的改进与优化点之一。
LittleMagic
·
2023-08-14 20:23
Flink
—读Hive表数据写入Kafka
选型 选用
Flink
进行读Hive写Kafka,因为其拥有丰富的connector可选择。
Andya_net
·
2023-08-14 19:02
Hadoop大数据技术
开发模板总结
#
Flink
kafka
hive
flink
成功解决DataX从Hive导出Oracle的数据乱码问题!
市面上可用的etl工具和框架很多,如来自于传统数仓和BI圈的kettle/informatica/datastage,来自于hadoop生态圈的sqoop/datax,抑或使用计算引擎spark/presto/
flink
笑看风云路
·
2023-08-14 18:30
hive
DataX
数据乱码
ETL
Hive
Oracle
Flink
on Native Kubernetes with Minio
Kubernetes:容器编排引擎
Flink
:分布式流数据流引擎minio:开源的对象存储服务器(类似阿里OSS),兼容亚马逊的S3协议,对Kubernetes能够友好的支持1.MiniKube环境准备
JokerRun
·
2023-08-14 16:46
07_Hudi案例实战、
Flink
CDC 实时数据采集、Presto、FineBI 报表可视化等
7.第七章Hudi案例实战7.1案例架构7.2业务数据7.2.1客户信息表7.2.2客户意向表7.2.3客户线索表7.2.4线索申诉表7.2.5客户访问咨询记录表7.3
Flink
CDC实时数据采集7.3.1
涂作权的博客
·
2023-08-14 16:59
#
Apache
Hudi
大数据
Apache
hudi
flink
flink
状态
Flink
从外部数据源持续接收数据,每接收一条数据就会触发相应的计算操作。当
Flink
对数据进行聚合操作时,不可能将所有流入的数据重新计算一次,每次计算都是基于上一次计算结果做增量计算。
todd5167
·
2023-08-14 11:21
h3c 7506 IRF和MAD多活配置案例
IRF配置irfmac-addresspersistentalwaysirfauto-updateenableirfauto-mergeenableundoir
flink
-delayirfmember1priority1irfmember2priority32irfmodenormalirf-port1
yenggd
·
2023-08-14 09:58
网络工程
网络
apache iotdb 初步使用以及遇到的问题
0,遇到的问题1)日志显示跟
flink
的冲突,需要排除org.apache.iotdb
flink
-iotdb-connector0.11.0logback-classicch.qos.logback2)
黄瓜炖啤酒鸭
·
2023-08-14 09:08
apache
iotdb
iotdb入门
Flink
火焰图
方式一使用
Flink
WebUI的FlameGraph
Flink
自己也支持了Task粒度的FlameGraphs功能,并且可以细化到subtask粒度。
weixin_45626756
·
2023-08-14 07:17
flink
大数据
大数据-玩转数据-
Flink
自定义Sink(Mysql)
一、说明如果
Flink
没有提供给我们可以直接使用的连接器,那我们如果想将数据存储到我们自己的存储设备中,mysql的安装使用请参考mysql-玩转数据-centos7下mysql的安装创建表CREATETABLE
人猿宇宙
·
2023-08-13 19:28
大数据-玩转数据-FLINK
大数据
flink
mysql
大数据-玩转数据-
Flink
RedisSink
一、添加RedisConnector依赖具体版本根据实际情况确定org.apache.
flink
flink
-connector-redis_2.111.1.5二、启动redis参见大数据-玩转数据-Redis
人猿宇宙
·
2023-08-13 19:28
大数据-玩转数据-FLINK
大数据
flink
Flink
学习记录
可以快速搭建一个
Flink
编写程序mvnarchetype:generate\-DarchetypeGroupId=org.apache.
flink
\-DarchetypeArtifactId=
flink
-quickstart-java
TheStarBoss
·
2023-08-13 19:28
flink
学习
大数据
BIGO 使用
Flink
做 OLAP 分析及实时数仓的实践和优化
▼关注「Apache
Flink
」,获取更多技术干货▼摘要:本文整理自BIGOStaffEngineer邹云鹤在
Flink
ForwardAsia2021的分享。
Apache Flink
·
2023-08-13 15:54
数据仓库
大数据
数据库
python
数据分析
不惧流量持续上涨,BIGO 借助
Flink
与 Pulsar 打造实时消息系统
最初,BIGO的消息流平台主要采用开源Kafka作为数据支撑。随着数据规模日益增长,产品不断迭代,BIGO消息流平台承载的数据规模出现了成倍增长,下游的在线模型训练、在线推荐、实时数据分析、实时数仓等业务对消息流平台的实时性和稳定性提出了更高的要求。开源的Kafka集群难以支撑海量数据处理场景,我们需要投入更多的人力去维护多个Kafka集群,这样成本会越来越高,主要体现在以下几个方面:1、数据存储
zhisheng_blog
·
2023-08-13 15:53
运维
大数据
分布式
hadoop
数据库
基于
Flink
的 OLAP 分析及实时数仓实践
摘要:本文整理自BIGOStaffEngineer邹云鹤在
Flink
ForwardAsia2021的分享。
浪尖聊大数据-浪尖
·
2023-08-13 15:53
数据仓库
大数据
数据库
java
数据分析
使用
Flink
与 Pulsar 打造实时消息系统
最初,BIGO的消息流平台主要采用开源Kafka作为数据支撑。随着数据规模日益增长,产品不断迭代,BIGO消息流平台承载的数据规模出现了成倍增长,下游的在线模型训练、在线推荐、实时数据分析、实时数仓等业务对消息流平台的实时性和稳定性提出了更高的要求。开源的Kafka集群难以支撑海量数据处理场景,我们需要投入更多的人力去维护多个Kafka集群,这样成本会越来越高,主要体现在以下几个方面:1、数据存储
ITFLY8
·
2023-08-13 15:22
运维
大数据
分布式
hadoop
数据库
借助
Flink
与 Pulsar,BIGO 打造实时消息处理系统
摘要:本文整理自BIGOStaffEngineer陈航在
Flink
ForwardAsia2020分享的议题《借助
Flink
与Pulsar,BIGO打造实时消息处理系统》。
小晨说数据
·
2023-08-13 15:51
运维
算法
大数据
分布式
编程语言
flink
快速上手
Flink
用于处理有状态的流式计算,需要对Source端的数据进行加工处理,然后写入到Sink端,下图展示了在
Flink
中数据所经历的过程,今天就根据这张图分别给大家分享下。
繁星-赵老师
·
2023-08-13 15:21
java
flink
kafka
IDEA 中使用 Big Data Tools 连接
Flink
Kafka HDFS
IDEA中使用BigDataTools连接大数据组件https://mp.weixin.qq.com/s?__biz=Mzg3MDE0MjUzMA==&mid=2247484619&idx=1&sn=5afd58da2392ff0cef2204bd994fdce9&chksm=ce9303e6f9e48af0527bb3c6532f7d10f68d1a147cbb94a7900a883b1bfb9
JasonLee实时计算
·
2023-08-13 12:02
Apache Paimon 在同程旅行的实践进展
本篇内容主要分为四个部分:1.ApachePaimon引入2.ApachePaimon应用建设3.ApachePaimon优化实践4.未来规划和期待Tips:点击「阅读原文」免费领取5000CU*小时
Flink
Apache Flink
·
2023-08-13 12:57
apache
Apache Paimon 流式数据湖 V 0.4 与后续展望
摘要:本文整理自阿里云开源大数据表存储团队负责人、阿里巴巴高级技术专家,Apache
Flink
PMC,PaimonPPMC李劲松(之信)在ApachePaimonMeetup的分享。
Apache Flink
·
2023-08-13 12:24
apache
05_Hudi 集成
Flink
、Streaming query、
Flink
SQL Writer、
Flink
SQL集成Kafka、
Flink
SQL写入Hudi、消费Kafka数据等
本文来自"黑马程序员"hudi课程5.第五章Hudi集成
Flink
5.1安装
Flink
1.125.2快速入门5.2.1集成
Flink
概述5.2.2环境准备5.2.3创建表5.2.4插入数据5.2.5查询数据
涂作权的博客
·
2023-08-13 10:03
#
Apache
Hudi
Apache
Hudi
Flink
CDC系列之:基于
Flink
CDC 构建 MySQL 和 Postgres 的 Streaming ETL
Flink
CDC系列之:基于
Flink
CDC构建MySQL和Postgres的StreamingETL一、技术路线二、MySQL数据库建表三、PostgreSQL数据库建表四、在
Flink
SQLCLI中使用
最笨的羊羊
·
2023-08-13 09:22
日常分享专栏
Flink
Flink
CDC系列
基于
Flink
CDC
MySQL
Postgres
Streaming
ETL
Flink
CDC系列之:深入理解MySQL CDC Connector的原理和实际应用MySQL CDC实现流式数据处理后同步到Elasticsearch数据库、StarRocks数据库
Flink
CDC系列之:深入理解MySQLCDCConnector的原理和实际应用MySQLCDC实现流式数据处理后同步到Elasticsearch数据库、StarRocks数据库一、
Flink
CDCConnector
最笨的羊羊
·
2023-08-13 09:52
大数据
Flink
CDC系列
CDC
原理
流式数据处理
Elasticsearch
StarRocks
Flink
CDC系列之:TiDB CDC 导入 Elasticsearch
Flink
CDC系列之:TiDBCDC导入Elasticsearch一、通过docker来启动TiDB集群二、下载
Flink
和所需要的依赖包三、在TiDB数据库中创建表和准备数据四、启动
Flink
集群,
最笨的羊羊
·
2023-08-13 08:18
日常分享专栏
Flink
CDC系列
TiDB
CDC
Elasticsearch
Flink
源码分析1:如何生成 StreamGraph
1.什么时候生成StreamGraph给出如下的
flink
的总体架构图,有个总体的认识,我们可以清楚的看到,在用户给出StreamApi之后,就会转化成StreamGraph,而在它的下面,它会转化成JobGraph
maskwang520
·
2023-08-13 07:17
TDengine 助力西门子轻量级数字化解决方案
在确定选择TDengine作为系统的时序数据库后,他们在SIMICAS®OEM2.0版本中移除了
Flink
、Kafka以及Redis,大大简化了系统架构。
涛思数据(TDengine)
·
2023-08-13 04:45
用户案例
tdengine
大数据
人工智能
Flink
实战之写Hive性能问题
问题1我使用的是
Flink
1.11.1版本,这个版本有个性能上的问题,见
FLINK
-19121。
〇白衣卿相〇
·
2023-08-13 03:00
Hudi系列13:Hudi集成Hive
文章目录一.Hudi集成Hive概述二.Hudi集成Hive步骤2.1拷贝jar包2.1.1拷贝编译好的hudi的jar包2.1.2拷贝Hivejar包到
Flink
lib目录2.1.3
Flink
以及
Flink
SQL
只是甲
·
2023-08-13 02:51
大数据和数据仓库
#
数据湖
hive
数据湖
hudi
flink
数据湖技术之Hudi 集成 Spark
数据湖技术之Hudi集成Spark数据湖框架Hudi,从诞生之初支持Spark进行操作,后期支持
Flink
,接下来先看看与Spark整合使用,并且在0.9.0版本中,提供SparkSQL支持,编写DDL
潘小磊
·
2023-08-13 02:51
数据湖
spark
大数据
mysql
Hudi(六)集成Hive
Hudi源表对应一份HDFS数据,通过Spark,
Flink
组件或者HudiCLI,可以将Hudi表的数据映射为Hive外部表,基于该外部表,Hive可以方便的进行实时视图,读优化视图以及增量视图的查询
Yuan_CSDF
·
2023-08-13 02:20
#
数据湖
大数据
hudi
上一页
83
84
85
86
87
88
89
90
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他