E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
大数据框架flink
Flink
自定义Sink 之 写入HDFS
org.apache.
flink
flink
-connector-filesystem_${scala.binary.version}${
flink
.version}org.apache.hadoophadoop-common
magic_kid_2010
·
2023-10-18 07:56
Flink
flink
自定义
sink
hdfs
springboot和
flink
大数据实时写入hdfs
一:
flink
官网API:https://nightlies.apache.org/
flink
/
flink
-docs-release-1.13/zh/docs/connectors/datastream
bigdata_czq
·
2023-10-18 07:25
hdfs
大数据
hdfs
spring
boot
2.2 如何使用
Flink
SQL读取&写入到文件系统(HDFS\Local\Hive)
、如何指定文件格式4、读取文件系统4.1开启目录监控4.2可用的Metadata5、写出文件系统5.1创建分区表5.2滚动策略、文件合并、分区提交5.3指定SinkParallelism6、示例_通过
Flink
SQL
广阔天地大有可为
·
2023-10-18 07:54
#
FlinkSQL
使用技巧
hdfs
大数据
服务器
源码解析
flink
文件连接源TextInputFormat
背景:kafka的文件系统数据源可以支持精准一次的一致性,本文就从源码看下如何TextInputFormat如何支持状态的精准一致性TextInputFormat源码解析首先
flink
会把输入的文件进行切分
lixia0417mul2
·
2023-10-18 05:34
大数据
flink
flink
大数据
flink
进阶篇-05-
Flink
流处理 API
1、Environment1.1getExecutionEnvironment1)创建一个执行环境,表示当前执行程序的上下文。2)如果程序是独立调用的,则此方法返回本地执行环境;3)如果从命令行客户端调用程序以提交到集群,则此方法返回此集群的执行环境,也就是说,getExecutionEnvironment会根据查询运行的方式决定返回什么样的运行环境,是最常用的一种创建执行环境的方式。//获得批处
先锋成员5A
·
2023-10-18 03:24
大数据
flink
Seatunnel源码解析(4) - 启动Spark/
Flink
程序
Seatunnel源码解析(4)-启动Spark/
Flink
程序需求公司在使用Seatunnel的过程中,规划将Seatunnel集成在平台中,提供可视化操作。
張不惑
·
2023-10-18 01:13
数据传输
spark
flink
Flink
的 Dispatcher详解
Dispatcher总结一、概述1、Dispatcher负责接收客户端提交的JobGraph对象。dispatcherGateway.submitJob(jobGraph,rpcTimeout)2、Dispatcher会根据接收的JobGraph对象为任务创建JobManagerRunner服务。JobManagerRunnerjobManagerRunner=createJobManagerRu
猫猫爱吃小鱼粮
·
2023-10-17 22:17
Flink精通~源码设计解析
flink
Flink
的集群资源管理
集群资源管理一、ResourceManager概述1、ResourceManager作为统一的集群资源管理器,用于管理整个集群的计算资源,包括CPU资源、内存资源等。2、ResourceManager负责向集群资源管理器申请容器资源启动TaskManager实例,并对TaskManager进行集中管理。3、当新的Job提交到集群后,JobManager会向ResourceManager申请作业执行
猫猫爱吃小鱼粮
·
2023-10-17 22:17
Flink精通~源码设计解析
flink
大数据
三、
Flink
使用累加器在WordCount中统计单词数量
在作业结束时,
Flink
会汇总(合并)所有部分的结果并将其发送给客户端。适用于调试过程或在你想快速了解有关数据更多信息时。
Flink
目前有如下内置累加器。IntCounter
猫猫爱吃小鱼粮
·
2023-10-17 22:47
flink
java
大数据
Flink
的ResourceManager详解(一)
ResourceManager总结一、概述1、ResourceManager管理
Flink
集群中的计算资源,计算资源主要来自TaskManager组件。
猫猫爱吃小鱼粮
·
2023-10-17 22:47
Flink精通~源码设计解析
flink
大数据
十二、
Flink
自定义 FlatMap 方法
,可以输出0到多个元素2)使用1.匿名内部类2.lambda表达式3.实现FlatMapFunction接口4.继承RichFlatMapFunction2、代码实现importorg.apache.
flink
.api.common.functions.FlatMapFunction
猫猫爱吃小鱼粮
·
2023-10-17 22:16
flink
big
data
java
四、
Flink
使用广播状态和定时器实现word_join_count有效时间1分钟
1、版本说明2、代码实现importorg.apache.
flink
.api.common.state.BroadcastState;importorg.apache.
flink
.api.common.state.MapState
猫猫爱吃小鱼粮
·
2023-10-17 22:16
flink
十八、
Flink
自定义多并行Source
2、代码实现importorg.apache.
flink
.configuration.Configuration;importorg.apache.
flink
.streaming.api.datastream.DataStrea
猫猫爱吃小鱼粮
·
2023-10-17 22:46
flink
apache
big
data
十三、
Flink
使用local模式执行任务 并开启
Flink
的webUI
1、概述1)webUI依赖org.apache.
flink
flink
-runtime-web_${scala.binary.version}${
flink
.version}2)调用StreamExecutionEnvironment.createLocalEnvironmentWithWebUI
猫猫爱吃小鱼粮
·
2023-10-17 22:46
flink
apache
big
data
2、Calcite 源码编译与运行
例如:Hive、
Flink
3)架构Calcite的各个组件可以分为4种类型1.查询优化器(QueryO
猫猫爱吃小鱼粮
·
2023-10-17 22:09
Flink精通~源码设计解析
flink
数据库架构
Flink
日志收集到数据库/kafka
引言我们做项目过程中发现
flink
日志不同模式启动,存放位置不同,查找任务日志很不方便,具体问题如下:原始
flink
的日志配置文件log4j-cli.propertiesappender.file.append
半度、
·
2023-10-17 19:23
随笔
flink
数据库
kafka
log4j
flink
dashboard未授权
flink
webui增加账号密码yuminstallhttpd-tools-yhtpasswd-c/usr/local/nginx/conf.d/.ngpasspd
flink
2024
flink
_2024
for your wish
·
2023-10-17 19:53
linux
服务器
运维
尚硅谷
Flink
(三)时间、窗口
1️时间、窗口窗口️是啥
Flink
是一种流式计算引擎,主要是来处理无界数据流的,数据源源不断、无穷无尽。
Int mian[]
·
2023-10-17 18:01
flink
大数据
Flink
实践教程-进阶(7):基础运维
流计算Oceanus简介流计算Oceanus是大数据产品生态体系的实时化分析利器,是基于Apache
Flink
构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。
腾讯云大数据
·
2023-10-17 17:10
flink
运维
java
一篇大数据调优
一、
flink
flink
官网1、
Flink
是如何支持批流一体的?
i am cscs
·
2023-10-17 17:27
hive
大数据
hadoop
flink
2021-01-29-
Flink
-34(
Flink
实时业务需求案例 )
1.业务数据的采集canal2.Canal的使用1.添加⼀个普通⽤户CREATEUSERcanalIDENTIFIEDBY'canal123';创建一个用户GRANTSELECT,REPLICATIONSLAVE,REPLICATIONCLIENTON.TO'canal'@'%';添加权限FLUSHPRIVILEGES;刷新如果失败:修改密码的安全权限setglobalvalidate_passw
冰菓_
·
2023-10-17 15:39
Flink
的算子列表状态的使用
背景算子的列表状态是平时比较常见的一种状态,本文通过官方的例子来看一下怎么使用算子列表状态算子列表状态算子列表状态支持应用的并行度扩缩容,如下所示:使用方法参见官方示例,我加了几个注解:publicclassBufferingSinkimplementsSinkFunction>,CheckpointedFunction{//要实现CheckpointedFunction接口privatefina
lixia0417mul2
·
2023-10-17 12:13
flink
大数据
flink
大数据
使用
Flink
Catalog将kafka的数据写入hive
packagecom.atguigu.
flink
.test_hk;importorg.apache.
flink
.streaming.api.environment.StreamExecutionEnvironment
青云游子
·
2023-10-17 10:53
Flink
kafka
hive
分布式
Py
flink
教程(一):table_api&sql
具体定义请参考官方文档:https://nightlies.apache.org/
flink
/
flink
-docs-release-1.16/zh/docs/dev/table/overview/本文主要针对实际使用中比较常用的
yuxj记录学习
·
2023-10-17 09:57
学习笔记
借鉴
sql
学习
pyflink
大数据开发复习(1)
就业岗位介绍面试流程最重要的是简历基础复习JavamysqlLinuxday02HDFSMapReducehive(sqlboy)HBASEday03kafkaredisesday04scalaspark
flink
day05etl
小码上线
·
2023-10-17 09:55
JavaSE
java
Flink
系列Table API和SQL之:创建表环境和创建表
Flink
系列TableAPI和SQL之:创建表环境和创建表一、快速上手TableAPI和SQL二、创建表环境三、创建表1.连接器表(ConnectorTables)2.虚拟表(VirtualTables
最笨的羊羊
·
2023-10-17 08:19
Flink
Flink系列
Table
API和SQL
创建表环境和创建表
24、
Flink
的table api与sql之Catalogs(java api操作数据库、表)-2
Flink
系列文章1、
Flink
部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、
Flink
的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan
·
2023-10-17 08:13
#
Flink专栏
flink
sql
flink
流批一体化
flink
hive
flink
api
hivecatalog
flink
sql
24、
Flink
的table api与sql之Catalogs(介绍、类型、java api和sql实现ddl、java api和sql操作catalog)-1
Flink
系列文章1、
Flink
部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、
Flink
的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan
·
2023-10-17 08:12
#
Flink专栏
flink
sql
flink
流批一体化
flink
catalog
flink
sql
flink
hive
hivecatalog
24、
Flink
的table api与sql之Catalogs(java api操作视图)-3
Flink
系列文章1、
Flink
部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、
Flink
的tableapi与sql的基本概念、通用
一瓢一瓢的饮 alanchan
·
2023-10-17 07:38
#
Flink专栏
flink
sql
flink
流批一体化
flink
sql
hivecatalog
flink
hive
flink
视图
Flink
内存管理
Flink
内存管理1.简介自从2003-2006年,Google发表了三篇著名的大数据相关论文(GoogleFS,MapReduce,BigTable)后,内存问题一直困扰大数据工程师们。
寇寇寇先森
·
2023-10-17 04:03
十一、
Flink
Table
简介
Flink
具有两个关系API-表API和SQL-用于统一流和批处理。
木戎
·
2023-10-17 01:48
浅谈大数据之
Flink
-2
Flink
作为一款以流处理见长的大数据引擎,相比其他流处理引擎具有众多优势。本节将对流处理的一些基本概念进行细化,这些概念是入门流处理的必备基础,至此你将正式进入数据流的世界。
`FUTURE`
·
2023-10-16 16:34
大数据
大数据
flink
单例模式
浅谈大数据之
Flink
1.3.4
Flink
Flink
是由德国3所大学发起的学术项目,后来不断发展壮大,并于2014年年末成为Apache顶级项目之一。在德语中,“
flink
”表示快速、敏捷,以此来表征这款计算框架的特点。
`FUTURE`
·
2023-10-16 16:33
大数据
flink
Flink
源码之 SQL 执行流程
Flink
源码分析系列文档目录请点击:
Flink
源码分析系列文档目录前言本篇为大家带来
Flink
执行SQL流程的分析。它的执行步骤概括起来包含:解析。
AlienPaul
·
2023-10-16 13:02
Flink
基础系列2-
Flink
部署
一.Standalone模式1.1Standalone模式概述
Flink
中每一个TaskManager都是一个JVM进程,它可能会在独立的线程上执行一个或多个subtask为了控制一个TaskManager
只是甲
·
2023-10-16 13:12
Flink
(9)TransForm分组后聚合
keyBy意思:分组之意。DataStream->KeyedStream:逻辑的将一个流拆分成不相交的“分区”,每个分区包含相同的key元素,在内部以hash的形式实现。滚动聚合算子(RollingAggregation)sum()min()max()minBy()maxBy()reduce()//转换成SensorReading类型DataStreamdataStream=inputStream
hk_faith
·
2023-10-16 07:03
大数据学习笔记,学习清单
大数据目前技术组件有很多,比如有hdfs,hive,spark,
flink
,kafka,clickhouse,cdh,nifi,streamset等等技术,主流的开发语言有Java,Scala,Python
平凡天下
·
2023-10-16 06:59
大数据
学习
笔记
Flink
Sink Kafka 自定义Topic与自定义分区
Flink
SinkKafka自定义Topic与自定义分区需求背景:
Flink
处理完成数据后,需要将消息传给Kafka,为了避免数据倾斜,根据消息的主键进行Hash取模,自定义输出到对应的Topic,为了提升从
znmdwzy
·
2023-10-16 05:24
Flink
flink
kafka
flink
sql kafka写数据到hive
step1:
flink
连接hive配置首先确保启动hivemetastore远程服务
flink
安装目录下新建文件夹hive-conf,然后vihive-site.xml,配置hive仓库地址和metastore
闻风-堡
·
2023-10-16 05:54
flink
flink
kafka
hive
flink
SQL数据写kafka多分区
1、背景
Flink
SQL数据写kafka,如果不设置并行度,默认是1。
林筱
·
2023-10-16 05:54
flink
flink
Flink
读取Kafka数据写入Hive
前言本文针对数据库CDC(changedatacapture)场景设计,探讨基于
Flink
1.12最新版本提供的实时写入Hive的技术可行性,下面为本地IDEA程序案例可供参考。
麻辣GIS
·
2023-10-16 05:24
大数据
flink
kafka
hive
mysql
sql
Flink
-SQL upset-Kafka自定义分区器
定制开发
Flink
-kakfa点击阅读官网遇到这种需求第一反应去看官网中对于自定义分区器是否支持。
码农-V
·
2023-10-16 05:22
kafka
flink
sql
【
Flink
】
Flink
kafka producer 分区策略 (
flink
写入数据不均匀 与 数据写入 分区无数据 )
文章目录1.概述2.
Flink
FixedPartitioner3.Tuple2
Flink
Partitioner4.
Flink
KafkaDelegatePartitioner4.1DefaultPartitioner5
九师兄
·
2023-10-16 05:22
大数据-flink
kafka
flink
分区
数据不均衡
【
Flink
读写外部系统】
Flink
自定义kafka分区并输出
目录1kafka中的消息写入与自定义分区器2
Flink
的分区数定义多少个合适?
Recall-MK
·
2023-10-16 05:22
#
Flink读写外部系统
kafka
flink
Producer
自定义kafka分区
flink输出到kafka
Flink
1.11.1
Flink
KafkaProducer写入topic0分区问题记录
Flink
1.11.1
Flink
KafkaProducer写入topic0分区问题记录问题记录:问题记录:
flink
版本:1.11.1使用
Flink
KafkaProducer往下游发送数据,代码如下:Propertiesprops
HugeBitter
·
2023-10-16 05:51
Flink
入门
flink
kafka
Flink
1.11 只写到kafka的第一个分区
Flink
1.11.1采用以下代码出现
Flink
写到kafka第一个分区的现象:speStream.addSink(new
Flink
KafkaProducer(kafkaTopicName,newKafkaProducerSchema
lele_pipi
·
2023-10-16 05:51
flink
kafka
Flink
如何基于事件时间消费分区数比算子并行度大的kafka主题
背景使用
flink
消费kafka的主题的情况我们经常遇到,通常我们都是不需要感知数据源算子的并行度和kafka主题的并行度之间的关系的,但是其实在kafka的主题分区数大于数据源算子的并行度时,是有一些注意事项的
lixia0417mul2
·
2023-10-16 05:51
flink
大数据
flink
大数据
kafka
Flink
的基于两阶段提交协议的事务数据汇实现
背景在
flink
中可以通过使用事务性数据汇实现精准一次的保证,本文基于Kakfa的事务处理来看一下在
Flink
内部如何实现基于两阶段提交协议的事务性数据汇.
flink
kafka事务性数据汇的实现1。
lixia0417mul2
·
2023-10-16 05:51
flink
大数据
flink
大数据
kafka
从
Flink
的Kafka消费者看算子联合列表状态的使用
背景算子的联合列表状态是平时使用的比较少的一种状态,本文通过kafka的消费者实现来看一下怎么使用算子列表联合状态算子联合列表状态首先我们看一下算子联合列表状态的在进行故障恢复或者从某个保存点进行扩缩容启动应用时状态的恢复情况算子联合列表状态主要由这两个方法处理:1初始化方法publicfinalvoidinitializeState(FunctionInitializationContextco
lixia0417mul2
·
2023-10-16 05:51
flink
大数据
kafka
flink
kafka
大数据
Flink
Kafka数据源读取分析
Flink
TableApi中kafka连接器,一个Kafkasource表对应一个kafkatopic,一个kafkatopic一般有多个partition;
Flink
流处理作业的并行度一般大于1,一个
conch_china
·
2023-10-16 05:20
大数据
flink
kafka
flink
上一页
55
56
57
58
59
60
61
62
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他