E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
大数据框架flink
Flink
kafka 数据汇不指定分区器导致的问题
背景在
flink
中,我们经常使用kafka作为
flink
的数据汇,也就是目标数据的存储地,然而当我们使用
Flink
KafkaProducer作为数据汇连接器时,我们需要注意一些注意事项,本文就来记录一下使用
lixia0417mul2
·
2023-10-16 05:18
flink
大数据
flink
kafka
大数据
Flink
使用 connect 实现双流匹配
阅读本文需要提前了解connect和ProcessFunction相关的知识。如果不了解的同学可以先通过官网或其他资料熟悉一下。一、案例分析在生产环境中,我们经常会遇到双流匹配的案例,例如:一个订单包含了订单主体信息和商品的信息。外卖行业,一个订单包含了订单付款信息和派送信息。互联网广告行业,一次点击包含了用户的点击行为日志和计费日志。等其他相关的案例上述这些案例都需要涉及到双流匹配的操作,也就是
叫小七的剑客
·
2023-10-16 04:22
尚硅谷
Flink
(二)DStream API
目录不会点DataStreamAPI编辑执行环境创建执行环境执行模式触发程序执行源算子准备基础类型从集合中读取数据从文件读取数据从Socket读取数据从Kafka读取数据(没学过)从数据生成器读取数据
Flink
Int mian[]
·
2023-10-15 22:21
flink
大数据
flink
教程
文章目录来自于尚硅谷教程1.
Flink
概述1.1特点1.2与SparkStreaming对比2.
Flink
部署2.1集群角色2.2部署模式2.3Standalone运行模式2.3.1本地会话模式部署2.3.2
Cool_Pepsi
·
2023-10-15 22:33
flink
大数据
基于Flume+Kafka+Hbase+
Flink
+FineBI的实时综合案例(一)案例需求
文章目录Flume+Kafka+Hbase+
Flink
+FineBI的实时综合案例01:课程回顾02:课程目标03:案例需求Flume+Kafka+Hbase+
Flink
+FineBI的实时综合案例01
Maynor996
·
2023-10-15 19:15
#
Flink
flume
kafka
hbase
apply 和 process方法的区别
flink
scala中TimeWindow的apply和process方法的区别,继承的类不同,其中prcess方法包含context,里面可以获取窗口时间,自定义延迟数据packagecom.baiimportcom.bai.wartermarkTest.MySourceimportorg.apache.
flink
.api.common.functions.FlatMapFunctionimpo
BigData-0
·
2023-10-15 13:30
flink
大数据框架
之Hadoop:MapReduce(一)MapReduce概述
1.1MapReduce定义MapReduce是一个分布式计算框架,用于编写批处理应用程序,是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个Hadoop集群上。这里以词频统计为例进行说明,MapReduce处理的流程如下:input:读取文本文件;splitting:将文件按照行
yiluohan0307
·
2023-10-15 13:26
大数据框架之Hadoop
hadoop
mapreduce
大数据
Hadoop——第三部份 Hadoop3.x之MapReduce
高扩展动态增加服务器高空错海量计算缺点不擅长实时计算(Mysql)不擅长流式计算(Sparkstreaming
flink
)不擅长DAG有向无环图计算(迭代)(Spark)二、Hadoop序列化序列化和反序列化将内存中
Cyang6
·
2023-10-15 12:40
#
大数据之Hadoop
hadoop
mapreduce
big
data
大数据
flink
篇之三-
flink
运行环境安装后续一yarn-session安装
具体的,在生产环境中,
flink
一般会交由yarn、k8s等资源管理平台来处理。本章主要讲解yarn模式下的sessioncluster模式。
风之清扬
·
2023-10-15 12:36
大数据计算-Flink
大数据分析
大数据
flink
Flink
窗口理解
Windows(窗口分类)KeyedStream和Non-KeyedStream代码定义上唯一的区别是KeyedStream以keyBy()开始,后接window(),而Non-KeyedStream以windowAll()开始,且windowAll是单slot运行的。KeyedWindowstream.keyBy(...)input=...;//tumblingevent-timewindows
weixin_42927126
·
2023-10-15 11:15
flink
flink
大数据
Flink
中的时间和窗口-第六章
借鉴《尚硅谷
Flink
1.13版本笔记.pdf》中第六章
Flink
中的时间和窗口在流数据处理应用中,一个很重要的操作就是窗口计算。
王雀跃
·
2023-10-15 11:42
scala
flink
flink
大数据
Flink
基础概念
1、keyby、partitionCustom区别(1)KeyByDataStream→KeyedStream:通过制定字段,将流转化成带key的流,之后相同key的数据,分发到相同的算子上。属于逻辑上的分区。 dataStream.keyBy("someKey")//通过"someKey"进行分组 dataStream.keyBy(0)//通过Tuple的第一个元素进行分组(2)物理分区(1)C
架构师思考实践
·
2023-10-15 11:42
Flink
大数据
Flink
flink
-keyby调研
flink
-keyby调研keyby的原理
Flink
中的keyBy操作是用于根据指定的键将数据流进行哈希分区的操作。
monsterXZB
·
2023-10-15 11:42
flink
flink
大数据
Flink
Table API和SQL(中)
传送门:
Flink
TableAPI和SQL(上)(基本API介绍+流处理表的特性)
Flink
TableAPI和SQL(中)(时间属性及窗口+聚合查询+联结查询)
Flink
TableAPI和SQL(下)(
落花雨时
·
2023-10-15 11:41
大数据
flink
大数据
big
data
Flink
中的Table API和SQL(三)
目录11.4时间属性和窗口11.4.1事件时间11.4.2处理时间11.4.3窗口(Window)11.5聚合(Aggregation)查询11.5.1分组聚合11.5.2窗口聚合11.5.3开窗(Over)聚合11.4时间属性和窗口基于时间的操作(比如时间窗口),需要定义相关的时间语义和时间数据来源的信息。在TableAPI和SQL中,会给表单独提供一个逻辑上的时间字段,专门用来在表处理程序中指
大数据阿嘉
·
2023-10-15 11:39
flink
大数据
Flink
中的CEP(二)
模式的检测处理12.4.1将模式应用到流上12.4.2处理匹配事件12.4.3处理超时事件12.4.4处理迟到数据12.5CEP的状态机实现12.6本章总结12.4模式的检测处理PatternAPI是
Flink
CEP
大数据阿嘉
·
2023-10-15 11:39
flink
大数据
Flink
中KeyBy、分区、分组的正确理解
1.
Flink
中的KeyBy在
Flink
中,KeyBy作为我们常用的一个聚合类型算子,它可以按照相同的Key对数据进行重新分区,分区之后分配到对应的子任务当中去。
文文鑫
·
2023-10-15 11:08
Flink
flink
大数据
大数据框架
之Hadoop:HDFS(五)NameNode和SecondaryNameNode(面试开发重点)
5.1NN和2NN工作机制5.1.1思考:NameNode中的元数据是存储在哪里的?首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低。因此,元数据需要存放在内存中。但如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。这样又会带来新的问题,当在内存中的元数据更新时,如果同时更
yiluohan0307
·
2023-10-15 08:25
大数据框架之Hadoop
hadoop
hdfs
大数据
The SetStack Computer(stack) -uva 12096
131072KBThisproblemwillbejudgedonUVA.OriginalID:1209664-bitintegerIOformat:%lldJavaclassname:Main[PD
FLink
睡神不睡
·
2023-10-15 07:42
Flink
学习笔记之六ProcessFunction
1.概念低阶APIprocessfunction,越底层越丰富复杂,提供了对状态的管理中阶APIDataStreamAPI,一般都是使用这个高级APISQL/TableAPI,高度抽象屏幕快照2019-03-21下午12.02.35.png2.onTimerProcessFunction,注册定时器,维护状态,定时到时触发调用onTimer屏幕快照2019-03-21下午12.04.11.png3
天火燎原_e548
·
2023-10-15 07:14
自定义
Flink
kafka连接器Decoding和Serialization格式
前言使用kafka连接器时:1.作为source端时,接受的消息报文的格式并不是kafka支持的格式,这时则需要自定义Decoding格式。2.作为sink端时,期望发送的消息报文格式并非kafka支持的格式,这时则需要自定义Serialization格式分析待补充步骤待补充
天涯到处跑
·
2023-10-14 17:58
flink
kafka
大数据
flink
SQL与jdbc(mysql整合)
一、前言此次
flink
sql整合jdbc整合(以mysql为例)主要是能在
flink
sql中读写mysql表中的数据
flink
1.11.0主要参考官网:https://ci.apache.org/projects
天涯到处跑
·
2023-10-14 17:28
flink
mysql
flink
SQL与hbase整合
一、前言
flink
sql与hbase整合主要实现:
flink
sql客户端中的hbase表与hbase中的表数据交互,为以后纯sql编写程序做准备如:创建kafka表、hive表、hbase表、mysql
天涯到处跑
·
2023-10-14 17:28
flink
hbase
flink
自定义多并发度 elasticsearch source连接器
前言目前
flink
是没有essource
flink
通过sql方式读取es中的数据需要自定义essource参考1.官网:User-definedSources&Sinks|Apache
Flink
2.博客
天涯到处跑
·
2023-10-14 17:28
flink
elasticsearch
Flink
1.11.0 SQL与hive整合
一、前言此次
flink
sql整合hive主要是能在
flink
sql中读写hive数据,为
flink
实时写数据进入hive构建实时数仓做准备工作。
天涯到处跑
·
2023-10-14 17:58
Flink
自定义sink并支持insert overwrite 功能
前言自定义
flink
sink,批模式下,有insertoverwrite需求或需要启动任务或任务完成后时,只执行一次某些操作时,则可参考此文章分析待补充步骤待补充
天涯到处跑
·
2023-10-14 17:51
flink
大数据
Flink
学习2-开发环境搭建
了解了
Flink
的基本原理和运行框架,本节我们尝试搭建
Flink
开发环境,由于
Flink
从1.10版本开始,在Windows系统上存在运行问题,且
Flink
官方也将各种Windows版本的
Flink
工具脚本从开发包中删除
清风送晚
·
2023-10-14 17:20
大数据处理
Flink
flink
大数据
HA-
Flink
集群环境搭建(Yarn模式)
前置准备CentOS7、jdk1.8、
flink
-1.10.1、hadoop-2.7.7、zookeeper-3.5.7想要完成本期视频中所有操作,需要以下准备:Linux下jdk的安装Scala环境搭建
广彐水厂
·
2023-10-14 17:17
大数据
大数据
flink
HA-
Flink
集群环境搭建(Standalone模式)
前置准备CentOS7、jdk1.8、
flink
-1.10.1、hadoop-2.7.7、zookeeper-3.5.7想要完成本期视频中所有操作,需要以下准备:Linux下jdk的安装Scala环境搭建
广彐水厂
·
2023-10-14 17:47
大数据
大数据
分布式
flink
Linux 搭建
Flink
教程
在服务器上解压完成压缩包后进行环境配置export
FLINK
_HOME=/opt/soft/
flink
exportPATH=$PATH:$
FLINK
_HOME/bin进入
flink
conf目录下修改
flink
-conf.yaml
JAVA百练成神
·
2023-10-14 17:14
linux
大数据
linux
flink
服务器
Linux安装
Flink
及其环境配置
Linux安装
Flink
及其环境配置集群规划使用StandAlone模式,需要启动
Flink
的主节点JobManager以及从节点TaskManager服务node1node2node3JobManager
未禾
·
2023-10-14 17:14
服务器环境部署
linux
flink
大数据
flink
学习笔记-
flink
的local模式安装部署
1、
Flink
的local模式部署安装在local模式下,不需要启动任何的进程,仅仅是使用本地线程来模拟
flink
的进程,适用于测试开发调试等,这种模式下,不用更改任何配置,只需要保证jdk8安装正常即可第一步
陈同学:
·
2023-10-14 17:43
fiink
flink
大数据
系统安装
locale
flink
进阶篇-03-
Flink
部署
1、Standalone模式1.1安装软件准备:(自行官网下载)
flink
-1.10.1-bin-scala_2.12.tgz三台linux机器linuxiphostnamecentos7192.168.1.100hadoop1centos7192.168.1.101hadoop2centos7192.168.1.102hadoop3
先锋成员5A
·
2023-10-14 17:42
大数据
flink
链式队列程序代码
#ifnde
fLINK
QUEUE_H#defineLINKQUEUE_Htypedefintdatatype;typedefstructnode{datatypedata;structnode*next
行者甲
·
2023-10-14 17:11
数据结构
c语言
开发语言
数据结构
07-
flink
环境搭建
07-
flink
环境搭建StandaloneCluster环境下载部署包上传到Linux服务器上通过FTP工具上传;也可以将win安装Linux子系统;或者直接win上运行(没有测试过)解压安装包tar-zxvf
flink
蜗牛写java
·
2023-10-14 17:39
flink
flink环境搭建
大数据实操篇 No.13-
Flink
开发环境搭建及使用
经过前几篇文章的介绍,相信大家已经了解
Flink
在生产环境上的部署和使用。那么问题随之而来:难道每一个
Flink
开发人员都要部署安装一套集群才能做开发吗?
pezynd
·
2023-10-14 17:39
从0到1的大数据探索
flink
docker
linux
java
大数据
一文让你彻底了解大数据实时计算引擎
Flink
随着这些年大数据的飞速发展,也出现了不少计算的框架(Hadoop、Storm、Spark、
Flink
)。在网上有人将大数据计算引擎的发展分为四个阶段。
zhisheng_blog
·
2023-10-14 17:14
【
Flink
实战】四、本地Mac+homebrew+
Flink
1.12.0的安装与运行
flink
也搭建过好多回了。在Linux上搭建过,在mac上搭建过。但是,因为最近电脑频繁出问题,又不想一直登云主机去运行
flink
程序,于是想着在本地搭一个
flink
环境。
王大梨
·
2023-10-14 17:35
制胜Flink
macos
flink
linux
Linux运行环境搭建系列-
Flink
安装
Flink
安装##下载https://archive.apache.org/dist/
flink
/
flink
-1.16.2##解压tar-zxvf
flink
-1.16.2-bin-scala_2.12.
知秋丶
·
2023-10-14 17:00
部署文档
linux
flink
运维
Kafka 开启SASL/SCRAM认证 及 ACL授权(三)验证
涉及的client有以下几个场景:shell脚本、python脚本、java应用、
flink
流。kafkashellscript验证核心逻辑是,连zk的,使用zk的jaas,连kafkab
代码讲故事
·
2023-10-14 15:45
架构师成长之路
kafka
分布式
sasl
scram
acl
认证
授权
Flink
Event-Time with WarterMark
Flink
Event-TimewithWarterMark前缀直接在数据流源中生成通过时间戳分配器/水印生成器1.8.21.10.0PeriodicPunctuated比较杂乱的一些结论整合代码与水印介绍
ε(´ο`*)))
·
2023-10-14 15:07
flink
剑指大数据-
flink
学习精要demo
cp2
Flink
入门wordcount批处理DEMOimportorg.apache.
flink
.api.common.typeinfo.Types;importorg.apache.
flink
.api.java.ExecutionEnvironment
Zieox
·
2023-10-14 15:36
学习笔记
大数据
flink
学习
Flink
面试题
一基础篇
Flink
的执行图有哪几种?分别有什么作用
Flink
中的执行图一般是可以分为四类,按照生成顺序分别为:StreamGraph->JobGraph->ExecutionGraph->物理执行图。
Yaphets丶混世大魔王
·
2023-10-14 15:36
#
flink
flink
大数据
Java
Flink
原理、实战、源码分析(二)原理部分
目录Java
Flink
原理、实战、源码分析(一)https://blog.csdn.net/qq_36250202/article/details/112978869Java
Flink
原理、实战、源码分析
任错错
·
2023-10-14 15:04
Flink
大数据
flink
java
源码解析
Flink
KafkaConsumer支持周期性水位线发送
背景当
flink
消费kafka的消息时,我们经常会用到
Flink
KafkaConsumer进行水位线的发送,本文就从源码看下
Flink
KafkaConsumer.assignTimestampsAndWatermarks
lixia0417mul2
·
2023-10-14 15:33
flink
大数据
flink
大数据
Flink
watermark
Flink
watermark1.简介
Flink
水印的本质是DataStream中的一种特殊元素,每个水印都携带有一个时间戳。当时间戳为T的水印出现时,表示事件时间tT的数据。
活在风浪里~
·
2023-10-14 15:32
Flink
flink
java
windows
大数据
hadoop
深入
Flink
系列——watermark使用与源码详解
深入
Flink
系列——watermark使用与源码详解前言1
Flink
时间体系1.1
Flink
的时间语义1.2watermark机制1.3时间戳分配与watermark生成1.4watermark传播与事件时间
亚里
·
2023-10-14 15:00
#
深入Flink系列
专业技能
flink
java
大数据
Apache-
Flink
中的Java泛型与Lambda表达式
在使用Java编写apache-
flink
程序的时候相信很多新手都遇到下面这样的异常;org.apache.
flink
.api.common.functions.InvalidTypesException
solinx
·
2023-10-14 15:32
源码解析
Flink
KafkaConsumer支持punctuated水位线发送
背景
Flink
KafkaConsumer支持当收到某个kafka分区中的某条记录时发送水位线,比如这条特殊的记录代表一个完整记录的结束等,本文就来解析下发送punctuated水位线的源码punctuated
lixia0417mul2
·
2023-10-14 15:28
flink
kafka
大数据
flink
大数据技术组件选型对比
中间件pulsarvskafka
Flink
CDCvsDebezium
Flink
CDC更灵活,支持DataStreamAPI和SQL两种方式同步数据,便于对数据做⼀些ETL,
Flink
CDC分布式架构不仅仅体现在数据读取能
公众号:肉眼品世界
·
2023-10-14 07:07
数据库
大数据
分布式
编程语言
hadoop
上一页
56
57
58
59
60
61
62
63
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他