E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
大数据框架flink
Flink
并行度与slot之间的关系
简介
Flink
运行时主要角色有两个:JobManager和TaskManager,无论是standalone集群,
flink
onyarn都是要启动这两个角色。
aa1215018028
·
2023-10-01 16:54
大數據
Flink
slot
flink
选择slot
flink
选择slot在这个类里修改packageorg.apache.
flink
.runtime.resourcemanager.slotmanager.SlotManagerImpl;findMatchingSlot
ln栓
·
2023-10-01 16:24
java
flink
flink
生成水位线记录方式--基于特殊记录的水位线生成器
背景在
flink
基于事件的时间处理中,水位线记录的生成是一个很重要的环节,本文就来记录下几种水位线记录的生成方式的其中一种:基于特殊记录的水位线生成器基于特殊记录的水位线生成器我们发送的事件中,如果带有某条特殊记录的元素代表了某种进度的标识的话
lixia0417mul2
·
2023-10-01 12:16
大数据
flink
flink
大数据
flink
生成水位线记录方式--周期性水位线生成器
背景在
flink
基于事件的时间处理中,水位线记录的生成是一个很重要的环节,本文就来记录下几种水位线记录的生成方式的其中一种:周期性水位线生成器周期性水位线生成器1.1BoundedOutOfOrdernessTimeStampExtractor
lixia0417mul2
·
2023-10-01 12:15
java性能
大数据
flink
java
大数据
Flink
中序列化RoaringBitmap不同方式的对比
背景在
flink
中,我们有时候会使用到RoaringBitmap进行统计计数等操作,而当使用RoaringBitmap时,这就涉及到了最重要的问题,如何序列化?
lixia0417mul2
·
2023-10-01 12:45
flink
java性能
flink
大数据
StarRocks从入门到精通系列五:导入数据
StarRocks从入门到精通系列五:导入数据一、导入总览二、从ApacheKafka®持续导入三、使用ApacheSpark™批量导入四、从Apache
Flink
持续导入一、导入总览下图详细展示了在各种数据源场景下
最笨的羊羊
·
2023-10-01 12:42
大数据
StarRocks
从入门到精通系列
导入数据
Dink进阶之路
1、环境变量cat/etc/profile#
flink
需要exportHADOOP_CLASSPATH=`hadoopclasspath`exportHADOOP_CONF_DIR=/etc/hadoop
docsz
·
2023-10-01 12:39
flink
大数据
flink
StarRocks数据导入
1、相关环境
Flink
作为当前流行的流式计算框架,在对接StarRocks时,若直接使用JDBC的方式"流式"写入数据,对StarRocks是不友好的,StarRocks作为一款MVCC的数据库,其导入的核心思想还是
docsz
·
2023-10-01 12:08
大数据
starrocks
flink
大数据框架
之Hive: 第7章 综合案例练习(初级)
第7章综合案例练习(初级)一环境准备1.1建表语句hive>--创建学生表DROPTABLEIFEXISTSstudent;createtableifnotexistsstudent_info(stu_idstringCOMMENT'学生id',stu_namestringCOMMENT'学生姓名',birthdaystringCOMMENT'出生日期',sexstringCOMMENT'性别')
yiluohan0307
·
2023-10-01 11:04
大数据框架之Hive
大数据
hive
hadoop
玩转数据-大数据-
Flink
SQL 中的时间属性
我们可以通过时间属性来更加灵活高效地处理数据,下面我们通过处理时间和事件时间来探讨一下
Flink
SQL时间属性。
人猿宇宙
·
2023-10-01 06:56
大数据
flink
sql
Flink
中的状态一致性
1.概念 一致性其实就是结果的正确性。对于分布式系统而言,从不同节点读取时总能得到相同的值;而对于事务而言,是要求提交更新操作后,能够读取到新的数据。有状态的流处理,内部每个算子任务都可以有自己的状态。对于流处理内部来说,所谓状态一致性,其实就是所说的计算结果要保证准确。一条数据不应该丢失,也不应该重复计算。在遇到故障时可以状态恢复,恢复以后重新计算,计算结果也是完全正确的。2.一致性级别AT-
独影月下酌酒
·
2023-10-01 06:56
flink
flink
数据库
sql
Flink
生产最佳实践第一季(视频,免费领取)
链接:https://pan.baidu.com/s/1KUZFtbVu07IApwuNVLmfVA提取码:nprm如果失效,或者进群交流,加微信ruoze_star
若泽数据
·
2023-10-01 04:45
Flink
实践教程-进阶(10):自定义聚合函数(UDAF)
作者:腾讯云流计算Oceanus团队流计算Oceanus简介流计算Oceanus是大数据产品生态体系的实时化分析利器,是基于Apache
Flink
构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台
腾讯云大数据
·
2023-10-01 02:57
数据库
java
mysql
大数据
flink
基础:内部类
packagecom.erised.
flink
.streaming;classO{classP{}}publicclassM{publicstaticvoidmain(String[]args){Oo=
Bitson
·
2023-09-30 20:55
Hbase - 自定义Rowkey规则
在
Flink
中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢,这时候我们就可以定制TableInputFormat来实现我们的需求了,我们还可以采用
Flink
的DataSet的方式读取
kikiki2
·
2023-09-30 12:50
Flink
安装及简单使用
目录转载处(个人用最新1.17.1测试)依赖环境安装包下载地址
Flink
本地模式搭建安装启动集群查看WebUI停止集群
Flink
Standalone搭建安装修改
flink
-conf.yaml配置文件修改
墨痕诉清风
·
2023-09-30 11:17
大数据
flink
大数据
First use of
flink
本文记录学习使用
flink
系列(一).昨天在按照某篇博客的demo程序,在自己的电脑上也尝试把
flink
程序运行起来,可是出现了在报错,当初在网上也简单找了下答案,没有搜索到相关的解决方案.参考学习博客
闪电拉拉
·
2023-09-30 09:59
YarnClusterDescriptor$YarnDeploymentException
Causedby:org.apache.
flink
.yarn.YarnClusterDescriptor$YarnDeploymentException:TheYARNapplicationunexpectedlyswitchedtostateFAILEDduringdeployment
arbalest1080
·
2023-09-30 09:39
flink
KafkaException
Causedby:org.apache.kafka.common.KafkaException:classorg.apache.
flink
.kafka.shaded.org.apache.kafka.common.serialization.ByteArrayDeserializerisnotaninstanceoforg.apache.kafka.common.serialization.Des
arbalest1080
·
2023-09-30 09:38
kafka
Flink
Sql系列7之Temporal Join
Flink
Sql系列7之TemporalJoin文章目录
Flink
Sql系列7之TemporalJoin@[TOC](文章目录)前言一、TemporalJoin是什么?
瘦瘦的肥羊
·
2023-09-30 06:00
FLINKSQL学习之路
java
大数据
flink
Flink
temporal table join研究
Apache
Flink
遵循A
滴普科技
·
2023-09-30 06:30
DEEPNOVA开发者社区
kafka
flink
big
data
大数据
Flink
(八十九):Temporal Join(快照 Join)
而
Flink
SQL中也有对应的概念,表叫做
Lansonli
·
2023-09-30 06:59
大数据入门核心技术
#
Flink
大数据
flink
Flink
配置文件详解-了解
flink
-conf.yaml的大数据配置
Flink
配置文件详解-了解
flink
-conf.yaml的大数据配置在大数据领域中,Apache
Flink
是一个广泛使用的流式处理框架。
雨中徜徉的思绪漫溢
·
2023-09-30 04:26
大数据
大数据
flink
侧输出流SideOutput
主要功能是通过侧数据流拆分流数据代码示例packagecom.gwm.driver;importcom.alibaba.
flink
.connectors.datahub.datastream.source.DatahubSourceFunction
大数据00
·
2023-09-29 22:42
flink
阿里云
侧输出流
flink
Flink
RoaringBitmap去重
org.roaringbitmapRoaringBitmap0.9.212、Demo去重packagecom.gwm.driver;importcom.alibaba.fastjson.JSON;importcom.alibaba.
flink
.connectors.datahub.datastream.source.DatahubSourceFunction
大数据00
·
2023-09-29 22:09
flink
flink
java
实时去重
高效去重
RoaringBitmap
Hadoop、Spark、Storm、
Flink
区别及选择
hadoop、spark、storm、
flink
如何选择hadoop和spark是更偏向于对大量离线数据进行批量计算,提高计算速度storm和
flink
适用于实时在线数据,即针对源源不断产生的数据进行实时处理
墨痕诉清风
·
2023-09-29 19:52
大数据
hadoop
spark
storm
java大数据之
flink
一、
Flink
简介1.1
Flink
是什么Apache
Flink
是一个开源的分布式,高性能,高可用,准确的流处理框架。
这一刻_776b
·
2023-09-29 19:42
Flink
的DataStream集成kafka
对于实时处理当中,我们实际工作当中的数据源一般都是使用kafka,所以我们一起来看看如何通过
Flink
来集成kafka
flink
提供了一个特有的kafkaconnector去读写kafkatopic的数据
我还不够强
·
2023-09-29 17:39
【时区】
Flink
JDBC 和CDC时间字段时区 测试及时间基准
关联文章:各种时间类型和timezone关系浅析一、测试目的和值1.测试一般的数据库不含timezone的类型的时区。mysqltimestamp(3)类型postgrestimestamp(3)类型sqlserverdatetime2(3)类型oracle类型TIMESTAMP(3)类型在以下测试之中均为ts字段2.测试CDC中元数据op_ts时区op_tsTIMESTAMP_LTZ(3)NOT
lisacumt
·
2023-09-29 07:38
flink
大数据
Flink
容错机制
容错机制在
Flink
中,有一套完整的容错机制来保证故障后的恢复,其中最重要的就是检查点。检查点的保存1)周期性的触发保存“随时存档”确实恢复起来方便,可是需要我们不停地做存档操作。
yzhSWJ
·
2023-09-28 22:10
flink
大数据
【大数据】流式计算引擎
Flink
入门及案例实战
文章目录1.
Flink
核心概念简介1.1.什么是
Flink
1.2.无界数据和有界数据简介1.3.
Flink
优化利用内存性能1.4.
Flink
常见的应用场景2.
Flink
案例入门2.1.创建Maven项目整合
互联网小阿祥
·
2023-09-28 12:56
大数据
大数据
flink
java
Flink
Batch SQL Improvements on Lakehouse
内容主要分为三个部分:
Flink
BatchonPaimon挑战
Flink
Batch核心优化后续规划点击查看原文视频&演讲PPT一、
Flink
BatchonPaimon挑战众所周知,Paimon在创立之初就是为了解决流式数仓场景的问题
Apache Flink
·
2023-09-28 12:55
Flink
大数据
实时计算
flink
batch
sql
大数据
开发语言
Flink
内存模型
TotalProcessMemory=JVM堆内存+JVM堆外内存(堆外内存+JVM元空间+JVM自身运行内存)Total
Flink
Memory=JVM堆内存+堆外内存参数控制:TotalProcessMemory
唐僧经常不洗头
·
2023-09-28 12:25
Flink
flink
大数据
基于
Flink
1.8的
Flink
On Yarn的启动流程
基于
Flink
1.8版本,分析OnYarn模式的任务提交过程:明确提交模式:Job模式和Session模式总览yarn提交流程(基于1.8)分析启动命令,确定Main方法入口结合关键类分析启动过程总结Yarn
super_man_0820
·
2023-09-28 12:55
Flink
Flink
大数据
Java
Flink
原理、实战、源码分析(六)源码部分
第1章环境准备及提交流程Yarn-per-job模式提交流程1.1程序起点1)找到
Flink
安装目录下/home/software/
flink
-1.10.1/bin/
flink
2)
flink
-1.10.1
任错错
·
2023-09-28 12:25
Flink
flink
Java
Flink
原理、实战、源码分析(一)原理部分
Java
Flink
原理、实战、源码分析(二)https://blog.csdn.net/qq_36250202/article/details/115668572Java
Flink
原理、实战、源码分析(
任错错
·
2023-09-28 12:25
Flink
big
data
hdfs
hadoop
从
flink
-example分析
flink
组件(1)WordCount batch实战及源码分析
上一章简单介绍了一下
flink
在windows下如何通过
flink
-webui运行已经打包完成的示例程序(jar),那么我们为什么要使用
flink
呢?
aebdm757009
·
2023-09-28 12:54
大数据
java
Flink
on yarn 实战和源码分析
版本:1.13.6目录
Flink
onyarn的3种模式的使用yarnsession模式源码分析yarnper-job模式源码分析application模式源码分析
Flink
onyarn的3种模式的使用ApplicationMode
唐僧经常不洗头
·
2023-09-28 12:24
flink
大数据
大数据技术之
flink
实现简单的wordcount
4.0.0com.antgworldcount1.0-SNAPSHOT${project.artifactId}Mywonderfullscalaapp20181.81.8UTF-82.11.112.111.13.11.8org.apache.
flink
flink
-java
Antg
·
2023-09-28 11:11
flink
big
data
flink
Flink
基础系列8-
Flink
on yarn运行wordcount程序
文章目录环境介绍一.Maven配置二.Java代码编写三.Maven打包并上传四.运行jar文件五.运行其它的class文件参考环境介绍测试服务器CDH6.3.1版本安装
Flink
1.9版本。
只是甲
·
2023-09-28 11:10
大数据和数据仓库
#
Flink
flink
flink
on
yarn
flink
程序运行
flink
任务提交&wordcount
flink
学习第二天
flink
任务提交&写Wordcount任务
flink
任务提交通过
flink
webui进行任务提交向
flink
集群提交任务的方式有两种。
闲时尚以蚕为市
·
2023-09-28 11:40
flink
大数据
【
flink
】
flink
实现wordCount(java)
文章目录前言一、wordCount1、有界wordCount2、无界wordCount3、pom.xml前言之前学习了spark,现在正在学习
flink
,感觉很类似,记录下
flink
的学习过程,请大家参考
叁滴水
·
2023-09-28 11:09
flink
flink
wordcount
Flink
-经典案例WordCount快速上手以及安装部署
2
Flink
快速上手2.1批处理api经典案例WordCountpublicclassBatchWordCount{publicstaticvoidmain(String[]args)throwsException
:Concerto
·
2023-09-28 11:08
flink
大数据
wordcount
flink
一个简单的wordcount
packagecom.jackray.soullan.
flink
;importorg.apache.
flink
.api.common.functions.FlatMapFunction;importorg.apache.
flink
.api.java.ExecutionEnvironment
编码的三叔
·
2023-09-28 11:36
flink
c#
大数据
2022年开篇
我对2021的总结2021是我从工程质量转向数据质量第一年,乍见的欢喜,odps/pyodps/
flink
/lindorm/hadoop各式各样的技能栈触手可得,到久处的平淡,最后我收获了什么?
程南swimming
·
2023-09-28 10:57
从
Flink
往ElasticSearch进行Sink操作,报错circuit_breaking_exception
先贴报错:2022-05-1014:44:43org.apache.
flink
.runtime.JobException:RecoveryissuppressedbyFixedDelayRestartBackoffTimeStrategy
飞鸟还巢
·
2023-09-28 10:00
elk
elasticsearch
flink
scala
记录Elasticsearch circuit_breaking_exception异常解决
业务场景:
Flink
消费Kafka数据写入ES组件版本:CDH:6.3.0
Flink
:1.12.1Elasticsearch:7.7.0异常明细Causedby:ElasticsearchStatusException
csdn_chshuai
·
2023-09-28 10:58
ES
elasticsearch
big
data
大数据
flink
flink
1.17安装
Flink
1.17安装官网地址:https://nightlies.apache.org/
flink
/
flink
-docs-release-1.17/zh//docs/try-
flink
/local_installation
米花町的小侦探
·
2023-09-28 07:21
flink
208.
Flink
(三):窗口的使用,处理函数的使用
目录一、窗口1.窗口的概念2.窗口的分类(1)按照驱动类型分(2)按照窗口分配数据的规则分类3.窗口api概览(1)按键分区(Keyed)和非按键分区(Non-Keyed)*1)按键分区窗口(KeyedWindows)*2)非按键分区(Non-KeyedWindows)(2)代码中窗口API的调用(3)窗口分配器(4)窗口函数*1)增量聚合函数^1)归约函数(ReduceFunction)^2)聚
鹏哥哥啊Aaaa
·
2023-09-28 07:19
flink
大数据
Apache Hudi初探(五)(与
flink
的结合)--
Flink
中hudi clean操作
背景本文主要是具体说说
Flink
中的clean操作的实现杂说闲谈在
flink
中主要是CleanFunction函数:@Overridepublicvoidopen(Configurationparameters
鸿乃江边鸟
·
2023-09-28 07:49
hudi
flink
大数据
flink
大数据
hudi
上一页
63
64
65
66
67
68
69
70
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他