E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
大数据框架flink
Spark 与
Flink
的演进与区别(上)
“Hadoop中的计算框架MapReduce的基本思想。我们已经知道,MapReduce的主要功能就是并行计算,但是它也不是十全十美的,MapReduce高成本的硬伤使得它已经不能很好地解决新时代的问题。”01什么是Spark打开Spark的官网,我们看到的第一句话就是对Spark的定义:Spark是用于大规模数据处理的通用分析引擎。当然,原文是英文的,这句是我翻译过来的。这句话非常简洁明了地讲解
zhouyanjun_
·
2023-08-23 05:48
14_flink
离线数据仓库相关
从Hadoop到Spark、
Flink
,大数据处理框架十年激荡发展史
当前这个数据时代,各领域各业务场景时时刻刻都有大量的数据产生,如何理解大数据,对这些数据进行有效的处理成为很多企业和研究机构所面临的问题。本文将从大数据的基础特性开始,进而解释分而治之的处理思想,最后介绍一些流行的大数据技术和组件,读者能够通过本文了解大数据的概念、处理方法和流行技术。什么是大数据?大数据,顾名思义,就是拥有庞大体量的数据。关于什么是大数据,如何定义大数据,如何使用大数据等一系列问
大数据基础入门教程
·
2023-08-23 05:18
大数据
大数据开发
hadoop
spark
flink
从Hadoop到Spark和
Flink
,大数据处理框架十年激荡发展史
当前这个数据时代,各领域各业务场景时时刻刻都有大量的数据产生,如何理解大数据,对这些数据进行有效的处理成为很多企业和研究机构所面临的问题。本文将从大数据的基础特性开始,进而解释分而治之的处理思想,最后介绍一些流行的大数据技术和组件,读者能够通过本文了解大数据的概念、处理方法和流行技术。来源:CarlosMuzaonUnsplash什么是大数据?大数据,顾名思义,就是拥有庞大体量的数据。关于什么是大
BAO7988
·
2023-08-23 05:45
大数据
大数据
Hadoop
spark
GIS大数据开发框架一张图
文章目录1前言2一张图3参考资料1前言由于自己经验并不丰富,理解也不深刻,但是被hadoop、spark、
flink
、geospark、sedona之间的关系搞得头晕,于是搜集了网络资料。
leemraz
·
2023-08-23 05:45
BigData
spark
hadoop
big
data
Hadoop、Spark与
Flink
的基础架构及其关系和优异
Hadoop、Spark与
Flink
的基础架构及其关系和优异前言Hadoop基础架构优点不足Spark基础架构优点不足
Flink
基础架构优点不足结语:
大数据框架
的选择前言Hadoop、Spark和
Flink
Lin-CT
·
2023-08-23 05:44
hadoop
spark
flink
大数据
Flink
+ Iceberg 的数仓增量生产 ETL 以及在美团的落地实践
一、美团数仓架构图如上图,是美团最新的数仓架构图。整个架构图分为三层,从下往上看,最下面一层是数据安全,包括受限域认证系统、加工层权限系统,应用层权限系统,安全审计系统,来保证最上层数据集成与处理的安全;中间一层是统一的元数据中心和全链路血缘,覆盖了全链路的加工过程;最上层根据数据的流向,分成数据集成,数据处理,数据消费,数据应用,四个阶段;在数据集成阶段,对于不同的数据来源(包括用户行为数据,日
KK架构
·
2023-08-22 23:46
数据湖
Flink
数据湖
Iceberg
增量生产
增量ETL
增量计算
Flink
TableAPI和SQL(二十三)连接到外部系统
文章目录控制台Kafka(重点)文件系统JDBCElasticsearchHBase控制台CREATETABLEResultTable(userSTRING,cntBIGINTWITH('connector'='print');Kafka(重点)Kafka的SQL连接器可以从Kafka的主题(topic)读取数据转换成表,也可以将表数据写入Kafka的主题。创建表的时候指定连接器为Kafka,则这
Alienware^
·
2023-08-22 22:34
#
Flink
flink
sql
kafka
flink
-sql所有表连接器-1.14
1.版本说明本文档内容基于
flink
-1.14.x,其他版本的整理,请查看本人博客的
flink
专栏其他文章。
第一片心意
·
2023-08-22 22:03
flink
flink
flink
sql
flink
sql连接器
Flink
SQL (五) 连接到外部系统Hive
而
Flink
的特点就是实时性强,所以
Flink
SQL与Hive的结合势
ambitfly
·
2023-08-22 22:32
hive
flink
sql
Flink
SQL(三) 连接到外部系统System和JDBC
Flink
提供了文件系统的连接器,支持从本地或者分布式的文件系统中读写数据。这个连接器是内置在
Flink
中的,所以使用它并不需要额外引入依赖。
ambitfly
·
2023-08-22 22:02
flink
sql
数据库
流批一体计算引擎-8-[
Flink
]的Table API连接器
参考官方文档TableAPI连接器1TableAPI连接器概述
Flink
的TableAPI和SQL程序可以连接到其他外部系统,用于读取和写入批处理表和流式表。
皮皮冰燃
·
2023-08-22 22:31
Flink
flink
Flink
Table API和SQL(上)
传送门:
Flink
TableAPI和SQL(上)(基本API介绍+流处理表的特性)
Flink
TableAPI和SQL(中)(时间属性及窗口+聚合查询+联结查询)
Flink
TableAPI和SQL(下)(
落花雨时
·
2023-08-22 22:01
大数据
flink
大数据
big
data
hadoop
Flink
Table和SQL的基本API
的结合使用输出表表和流的转换1、将表转换成流2、将流转换成表3、支持的数据类型4、综合应用示例一个示例importcom.yingzi.chapter05.Source.Event;importorg.apache.
flink
.streaming.api.datast
未来影子
·
2023-08-22 22:01
Flink
flink
Flink
学习笔记(十一)Table API 和 SQL
文章目录11.TableAPI和SQL11.1快速上手11.1.1需要依赖11.1.2示例11.2基本API11.2.1程序架构11.2.2创建表环境11.2.3创建表11.2.4表的查询11.2.5输出表11.2.6表和流的转换11.3流处理中的表11.3.1动态表和持续查询11.3.2将流转换成动态表11.3.2用SQL持续查询11.3.3将动态表转换为流11.4时间属性和窗口11.4.1事件
半岛铁子_
·
2023-08-22 22:30
Flink
大数据
flink
学习
sql
big
data
Flink
的Table和SQL的基本API
的结合使用输出表表和流的转换1、将表转换成流2、将流转换成表3、支持的数据类型4、综合应用示例一个示例importcom.yingzi.chapter05.Source.Event;importorg.apache.
flink
.streaming.api.datast
未来影子
·
2023-08-22 22:30
Flink
flink
9、
Flink
四大基石之Checkpoint容错机制详解及示例(checkpoint配置、重启策略、手动恢复checkpoint和savepoint)
Flink
系列文章1、
Flink
1.12.7或1.13.5详细介绍及本地安装部署、验证2、
Flink
1.13.5二种部署方式(Standalone、StandaloneHA)、四种提交任务方式(前两种及
一瓢一瓢的饮 alanchan
·
2023-08-22 22:00
#
Flink专栏
flink
大数据
flink
容错
checkpoint
savepoint
flink
重启策略
flink
手动重启任务
16、
Flink
的table api与sql之连接外部系统: 读写外部系统的连接器和格式以及Apache Kafka示例(3)
Flink
系列文章1、
Flink
部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、
Flink
的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan
·
2023-08-22 22:28
#
Flink专栏
flink
sql
flink
流批一体化
flink
sql
flink
kafka
flink
实时计算
flink
connector
聊聊
flink
的JDBCOutputFormat
序本文主要研究一下
flink
的JDBCOutputFormatJDBCOutputFormat
flink
-jdbc_2.11-1.7.0-sources.jar!
go4it
·
2023-08-22 16:46
大数据
Flink
(六十四):
Flink
运行时架构介绍
文章目录
Flink
运行时架构介绍一、系统架构二、整体构成三、作业管理器(JobManager)四、任务管理器(TaskManager)
Flink
运行时架构介绍我们已经对
Flink
的主要特性和部署提交有了基本的了解
Lansonli
·
2023-08-22 10:19
flink
大数据
flink
之数据流图
flink
之数据流图分析StreamGraph:就是将程序的执行逻辑转换为算子之间的前后顺序(全部都是Subtask)JobGraph:是将部分可以合并的Subtask合并为一个TaskExecutionGraph
不吃饭的猪
·
2023-08-22 09:56
flink
big
data
大数据
flink
之kafka数据源之topic的分区和topic发现
flink
之kafka数据源之topic的分区和topic发现设置情景一:kafka因为后台数据增多,重新新增加分区,这时候需要在kafka中设置
flink
.partitions-discovery.interval-millis
不吃饭的猪
·
2023-08-22 09:56
kafka
flink
分布式
Apache Hudi初探(二)(与
flink
的结合)--
flink
写hudi的操作(JobManager端的提交操作)
背景在ApacheHudi初探(一)(与
flink
的结合)中,我们提到了Pipelines.hoodieStreamWrite写hudi文件,这个操作真正写hudi是在Pipelines.hoodieStreamWrite
鸿乃江边鸟
·
2023-08-22 08:08
flink
hudi
flink
大数据
hudi
15、
Flink
的table api与sql之流式概念-详解的介绍了动态表、时间属性配置(如何处理更新结果)、时态表、流上的join、流上的确定性以及查询配置
Flink
系列文章1、
Flink
部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、
Flink
的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan
·
2023-08-22 08:37
#
Flink专栏
flink
sql
flink
sql
flink
动态表
flink
时态表
flink
查询配置
flink
流批一体化
20、
Flink
SQL之SQL Client: 不用编写代码就可以尝试
Flink
SQL,可以直接提交 SQL 任务到集群上
Flink
系列文章1、
Flink
部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、
Flink
的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan
·
2023-08-22 08:37
#
Flink专栏
flink
sql
flink
流批一体化
flink
sql
flink
kafka
flink
sql客户端
flink
sql
cli
5、
Flink
的source、transformations、sink的详细示例(三)-sink示例
Flink
系列文章1、
Flink
1.12.7或1.13.5详细介绍及本地安装部署、验证2、
Flink
1.13.5二种部署方式(Standalone、StandaloneHA)、四种提交任务方式(前两种及
一瓢一瓢的饮 alanchan
·
2023-08-22 08:36
#
Flink专栏
flink
大数据
flink
kafka
flink
redis
flink
分布式缓存
flink
广播
flink
mysql
1、
Flink
1.12.7或1.13.5详细介绍及本地安装部署、验证
Flink
系列文章1、
Flink
1.12.7或1.13.5详细介绍及本地安装部署、验证2、
Flink
1.13.5二种部署方式(Standalone、StandaloneHA)、四种提交任务方式(前两种及
一瓢一瓢的饮 alanchan
·
2023-08-22 08:06
#
Flink专栏
flink
大数据
流式计算
离线计算
实时计算
批量计算
flink部署安装及验证
5、
Flink
的source、transformations、sink的详细示例(二)-source和transformation示例
Flink
系列文章1、
Flink
1.12.7或1.13.5详细介绍及本地安装部署、验证2、
Flink
1.13.5二种部署方式(Standalone、StandaloneHA)、四种提交任务方式(前两种及
一瓢一瓢的饮 alanchan
·
2023-08-22 08:06
#
Flink专栏
#
kafka专栏
flink
大数据
flink
流批一体
flink
kafka
kafka
flink
mysql
16、
Flink
的table api与sql之连接外部系统: 读写外部系统的连接器和格式以及FileSystem示例(1)
Flink
系列文章1、
Flink
部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、
Flink
的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan
·
2023-08-22 08:04
#
Flink专栏
flink
sql
flink
sql
flink
流批一体化
filesystem示例
flink
kafka
flink
sql
cli
flink
sql checkpoint 调优配置
-`execution.checkpointing.interval`:检查点之间的时间间隔(以毫秒为单位)。在此间隔内,系统将生成新的检查点SETexecution.checkpointing.interval=6000;-`execution.checkpointing.tolerable-failed-checkpoints`:允许的连续失败检查点的最大数量。如果连续失败的检查点数量超过此值
wangqiaowq
·
2023-08-22 07:50
flink
Flink
、Yarn架构,以
Flink
on Yarn部署原理详解
Flink
、Yarn架构,以
Flink
onYarn部署原理详解
Flink
架构概览Apache
Flink
是一个开源的分布式流处理框架,它可以处理实时数据流和批处理数据。
JermeryBesian
·
2023-08-22 05:17
Flink
flink
架构
大数据
记录几个Hudi
Flink
使用问题及解决方法
前言如题,记录几个Hudi
Flink
使用问题,学习和使用Hudi
Flink
有一段时间,虽然目前用的还不够深入,但是目前也遇到了几个问题,现在将遇到的这几个问题以及解决方式记录一下版本
Flink
1.15.4Hudi0.13.0
董可伦
·
2023-08-22 05:45
Flink
Hudi
flink
hudi
数据湖
Apache
Flink
常见问题定位指南
但实际运行中,
Flink
作业可能因为各种原因出现吞吐量抖动、延迟高、快照失败等突发情况,甚至发生崩溃和重启,影响输出数据的质量,甚至会导致线上业务中断,造成报表断崖、监控断点、数据错乱等严重后果。
程序员的隐秘角落
·
2023-08-21 21:04
Flink
学习笔记之八connector
1.Connector是什么2.Connector渠道3.基于文件的预定义Source4.基于Socket的预定于Source5.基于Element和Collections的预定义Source6.预定义Sink7.Source容错性保证8.Sink容错性保证9.自定义Source10.自定义Sink
天火燎原_e548
·
2023-08-21 17:22
大数据技术选型
数据采集传输负责处理文件日志的:Flume消息队列:Kafka数据抽取:Sqoop、DataX数据存储MySql、HDFS、Hbase、Redis、MongoDB数据计算Hive、Tez、Spark、
Flink
菜鸟社长
·
2023-08-21 16:12
阿里巴巴开源的 Blink 实时计算框架真香
我们先看看Blink黑色版本:image对比下
Flink
版本你就知道黑色版本多好看了。image你上传jar包的时候是这样的:image我们来看看Blink运行的job长啥样?
zhisheng_blog
·
2023-08-21 13:07
mysql单表一千多万条数据同步6分钟处理完
文章目录1.需求2.方案2.1使用
flink
-cdc2.2使用传统的Limit分页、数据分片、mybatisPlus的saveBanch和线程池异步2.3使用多数据源、mybatis的游标查询、mybatisPlus
大飞哥~BigFei
·
2023-08-21 11:05
mysql
java
mysql单表千万数据同步
flink
sql报错 Cannot determine simple type name “org“
flink
版本1.15报错内容2023-08-1715:46:02java.lang.RuntimeException:Couldnotinstantiategeneratedclass'WatermarkGenerator
Thomas2143
·
2023-08-21 11:42
总结
python
flink
大数据-玩转数据-
Flink
App市场推广统计
一、说明电商网站中已经有越来越多的用户来自移动端,相比起传统浏览器的登录方式,手机APP成为了更多用户访问电商网站的首选。对于电商企业来说,一般会通过各种不同的渠道对自己的APP进行市场推广,而这些渠道的统计数据(比如,不同网站上广告链接的点击量、APP下载量)就成了市场营销的重要商业指标。二、思路统计不同渠道的不同用户行为三、数据准备封装数据的JavaBean类packagecom.lyh.fl
人猿宇宙
·
2023-08-21 10:34
大数据-玩转数据-FLINK
大数据
flink
大数据-玩转数据-
Flink
营销对账
一、说明在电商网站中,订单的支付作为直接与营销收入挂钩的一环,在业务流程中非常重要。对于订单而言,为了正确控制业务流程,也为了增加用户的支付意愿,网站一般会设置一个支付失效时间,超过一段时间不支付的订单就会被取消。另外,对于订单的支付,我们还应保证用户支付的正确性,这可以通过第三方支付平台的交易数据来做一个实时对账。二、思路对于订单支付事件,用户支付完成其实并不算完,我们还得确认平台账户上是否到账
人猿宇宙
·
2023-08-21 10:32
大数据-玩转数据-FLINK
大数据
flink
Hbase - 自定义Rowkey规则
>在
Flink
中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢,这时候我们就可以定制`TableInputFormat`来实现我们的需求了,我们还可以采用
Flink
的`DataSet
kikiki5
·
2023-08-21 08:51
【大数据】
Flink
详解(五):核心篇 Ⅳ
Flink
详解(五):核心篇Ⅳ45、
Flink
广播机制了解吗?
G皮T
·
2023-08-21 07:27
大数据
大数据
flink
分布式计算
流计算
分布式
内存管理
资源管理
flink
使用12-用 table API 实现WordCount
TableAPI是
Flink
构建在DataSet和DataStreamAPI之上的一套结构化编程接口.本文希望通过一个简单的wordCount的例子首先来体验一下普通的
Flink
Table的代码是由哪些部分构成的
CheckChe
·
2023-08-21 07:49
Flink
TaskManager OutOfMemoryError: Metaspace 处理记录
一个很有意思的
Flink
任务异常处理记录一、环境信息
Flink
1.12Standalone模式,单台机器,由于客户环境基本很长时间会看不到运行状态二、问题现象现场同事反馈设备在客户现场运行了一段时间后
Flink
Job
马飞
·
2023-08-21 07:56
flink
jvm
java
大数据
开发语言
基于
Flink
CDC实时同步数据(MySQL到MySQL)
一、环境jdk8
Flink
1.16.1(部署在远程服务器:192.168.137.99)
Flink
CDC2.3.0MySQL8.0(安装在本地:192.168.3.31)(安装部署过程略)二、准备准备三个数据库
gyww
·
2023-08-21 00:43
mysql
flink
etl
基于
Flink
CDC实时同步PostgreSQL与Tidb【
Flink
SQL Client模式】
文章目录一、PostgreSQL作为数据来源(source),由
flink
读取1.postgre安装与配置2.
flink
安装与配置3.
flink
cdcpostgre配置3.1postgre配置(for
flink
cdc
nefu-ljw
·
2023-08-21 00:43
从零开始学大数据
从零开始学数据库
flink
sql
大数据
flink
cdc
postgresql
tidb
Apache
Flink
从入门到放弃——快速上手(Java版)(二)
目录1.环境准备和创建项目1.1软件准备及版本1.2IDEA下创建Java项目
Flink
Tutorial2.DataSetAPI批处理实现wordcount3.DataSetAPIVSDataStreamAPI4
╭⌒若隐_RowYet——大数据
·
2023-08-20 20:01
Apache
Flink
java
apache
flink
大数据-玩转数据-
Flink
网站UV统计
二、数据准备packagecom.lyh.
flink
06;importlombok.AllArgsConstructor;importlombok.Data;importlombok.NoArgsConstructor
人猿宇宙
·
2023-08-20 17:21
大数据-玩转数据-FLINK
大数据
flink
uv
centos7的
flink
安装过程
安装步骤下载
flink
的tar.gz包修改
flink
的conf配置下载需要的lib包具体代码(以
flink
1.15为例)#下载
flink
的tar.gz包wgethttps://archive.apache.org
Y飞羽Y
·
2023-08-20 17:47
flink
大数据
揭开神秘面纱,会stream流就会大数据
另一个流行的
大数据框架
flink
同理。准备工作测试数据,以下列分别表示姓名,年龄,部门,职位。张三,20,研发部,普通员
2301_76429513
·
2023-08-20 15:44
大数据
Spark vs
Flink
对比项目Spark
Flink
抽象流式RDD的抽象,DStream独立的DataSet(批处理)和DataStream对象内存管理1.5版本开始用tungsten,精确控制内存,不再直接用Java的内存管理一直是自己管理内存语言
RocWay
·
2023-08-20 11:30
上一页
80
81
82
83
84
85
86
87
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他