E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Flink源码解析
【
Flink
SQL】
Flink
SQL 基础概念(五):SQL 时区问题
《
Flink
SQL基础概念》系列,共包含以下5篇文章:
Flink
SQL基础概念(一):SQL&Table运行环境、基本概念及常用API
Flink
SQL基础概念(二):数据类型
Flink
SQL基础概念(三
G皮T
·
2024-03-19 13:24
#
Flink
SQL
flink
sql
大数据
时区
TIMESTAMP_LTZ
TIMESTAMP
【大数据】
Flink
SQL 语法篇(五):Regular Join、Interval Join
《
Flink
SQL语法篇》系列,共包含以下10篇文章:
Flink
SQL语法篇(一):CREATE
Flink
SQL语法篇(二):WITH、SELECT&WHERE、SELECTDISTINCT
Flink
SQL
G皮T
·
2024-03-19 07:16
#
Flink
SQL
大数据
flink
sql
Regular
Join
Interval
Join
双流Join
大数据开发(Kafka面试真题-卷一)
5、
Flink
checkpoint和Kafkaoffset的关联是什么?
Key-Key
·
2024-03-18 23:05
大数据
kafka
面试
flink
: 自定义表函数的用法
packagecn.edu.tju.demo3;importorg.apache.
flink
.api.common.functions.MapFunction;importorg.apache.
flink
.api.java.tuple.Tuple2
amadeus_liu2
·
2024-03-17 03:37
flink
flink
python
大数据
flink
:自定义函数的简单用法
packagecn.edu.tju.demo3;importorg.apache.
flink
.api.common.functions.MapFunction;importorg.apache.
flink
.streaming.api.datastream.DataStream
amadeus_liu2
·
2024-03-17 03:07
flink
flink
大数据
flink
状态后端和检查点的关系
在Apache
Flink
中,检查点(Checkpoints)和状态后端(StateBackend)是两个核心概念,它们之间有着紧密的联系。为了更好地理解这种联系,我们首先需要分别了解这两个概念。
后季暖
·
2024-03-16 08:12
flink
大数据
Flink
异步io关联Hbase
主程序publicstaticvoidmain(String[]args)throwsException{//1.获取流执行环境StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();env.setParallelism(1);SimpleDateFormatformatter=newSi
//承续缘_纪录片
·
2024-03-16 05:06
#
Flink
flink
hbase
大数据
flink
重温笔记(十五):
flink
SQL 顶层 API ——实时数据流转化为SQL表的操作
Flink
学习笔记前言:今天是学习
flink
的第15天啦!
那就学有所成吧(˵¯͒¯͒˵)
·
2024-03-13 09:32
Flink重温笔记
flink
笔记
sql
大数据
学习方法
数据库
KAFKA
Flink
CDC快速搭建实现数据监控
引入依赖4.0.0com.sand
flink
cdc1.0-SNAPSHOTjar
Flink
QuickstartJobUTF-81.17.11.14.4-->1.82.12${target.java.version
tianqi11
·
2024-03-12 05:20
flink
java
Apache Paimon 使用之Creating Catalogs
1.使用FilesystemMetastore创建Catalog
Flink
引擎
Flink
SQL注册并使用名为my_catalog的P
猫猫爱吃小鱼粮
·
2024-03-12 03:48
Paimon
apache
hive
hadoop
Flink
学习 | 在集群上的,部署模式及运行模式
Client将作业提交给JobManager,JobManager将作业分发给很多个TaskManager开始干活。部署模式有三种(会话模式_session,单作业模式_per_job,应用模式_application)主要区别是生命周期及资源的分配方式,以及应用的main方法到底在哪里执行,是客户端还是JobManager。会话模式需要先启动一个集群,保持一个会话。但启动集群时,资源是共享的,会
狻猊来当程序媛
·
2024-03-08 23:51
flink
学习
大数据
sprintboot集成
flink
快速入门demo
一、
flink
介绍
Flink
是一个批处理和流处理结合的统一计算框架,其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理,是业界最顶级的开源流处理引擎。
AskHarries
·
2024-03-07 04:55
flink
大数据
SeaweedFS部署
Githup地址:https://github.com/chrislusf/seaweedfs官方文档:https://github.com/chrislusf/seaweedfs/wikiseaweedfs
源码解析
仙女陈
·
2024-03-02 04:46
linux
【大数据】
Flink
SQL 语法篇(七):Lookup Join、Array Expansion、Table Function
《
Flink
SQL语法篇》系列,共包含以下10篇文章:
Flink
SQL语法篇(一):CREATE
Flink
SQL语法篇(二):WITH、SELECT&WHERE、SELECTDISTINCT
Flink
SQL
G皮T
·
2024-03-01 02:40
#
Flink
SQL
大数据
flink
sql
Lookup
Join
Array
Expansion
Table
Function
维表
Join
【
Flink
精讲】
Flink
单机安装步骤
Flink
单机安装步骤获取
Flink
安装包:Indexof/
flink
解压缩:tar-zxvf
flink
-1.17.2-bin-scala_2.12.tgz修改配置文件:conf/
flink
-conf.yaml
话数Science
·
2024-02-29 13:22
Flink
Flink精讲
大数据
flink
大数据
EMR StarRocks实战——Mysql数据实时同步到SR
文章摘抄阿里云EMR上的StarRocks实践:《基于实时计算
Flink
使用CTAS&CDAS功能同步MySQL数据至StarRocks》前言CTAS可以实现单表的结构和数据同步,CDAS可以实现整库同步或者同一库中的多表结构和数据同步
爱吃辣条byte
·
2024-02-28 09:49
#
StarRocks
数仓建设
大数据
数据仓库
【axios】从
源码解析
axios拦截器是如何工作的
本文所用axios版本号为:1.3.2。axios拦截器的配置方式axios中有两种拦截器:axios.interceptors.request.use(onFulfilled,onRejected,options):配置请求拦截器。*onFulfilled方法在发送请求前执行,接收config对象,返回一个新的config对象,可在此方法内修改config对象。*onRejected方法在onF
web安全学习资源库
·
2024-02-24 20:03
前端
javascript
vue.js
flink
如何利用checkpoint保证数据状态一致性
flink
数据状态一致性1状态一致性级别1.1AT-MOST-ONCE(最多一次):1.2AT-LEAST-ONCE(至少一次):1.3EXACTLY-ONCE(精确一次):1.4分布式快照与至少一次事件传递和重复数据删除的比较
Direction_Wind
·
2024-02-22 17:37
flink技术原理
flink
大数据
快速排序详解!c语言
快速排序的优化1.hore法(初代目)hore法的源码
源码解析
2.挖坑法(常用)!!!!挖坑法源码3.前后指针法(常用)前后指针代码4.非递归法快速排序全过程图快速排序是什么?
自律的阿龙
·
2024-02-20 21:13
数据结构
c语言
数据结构
算法
c语言
排序算法
记一次
Flink
作业启动缓慢
记一次
Flink
作业启动缓慢背景应用发现,Hadoop集群的hdfs较之前更加缓慢,且离线ELT任务也以前晚半个多小时才能跑完。
卢说
·
2024-02-20 18:38
Hadoop
大数据
Flink
flink
大数据
hadoop
hdfs
将Spring Cloud项目改造为Spring-cloud-kubernetes项目
每天10:33更新文章,每天掉亿点点头发...源码精品专栏原创|Java2021超神之路,很肝~中文详细注释的开源项目RPC框架Dubbo
源码解析
网络应用框架Netty
源码解析
消息中间件RocketMQ
公众号-芋道源码
·
2024-02-20 12:44
中间件
java
linux
数据库
spring
boot
【天衍系列 03】深入理解
Flink
的Watermark:实时流处理的时间概念与乱序处理
文章目录01基本概念02工作原理03优势与劣势04核心组件05Watermark生成器使用06应用场景07注意事项08案例分析8.1窗口统计数据不准8.2水印是如何解决延迟与乱序问题?8.3详细分析09项目实战demo9.1pom依赖9.2log4j2.properties配置9.3Watermark水印作业01基本概念Watermark是用于处理事件时间的一种机制,用于表示事件时间流的进展。在流
浅夏的猫
·
2024-02-20 12:02
Flink专栏
flink
大数据
java
apache
【天衍系列 01】深入理解
Flink
的 FileSource 组件:实现大规模数据文件处理
03数据流实现04项目实战4.1项目结构4.2maven依赖4.3StreamFormat读取文件数据4.4BulkFormat读取文件数据4.5使用小结05数据源比较06总结01基本概念Apache
Flink
浅夏的猫
·
2024-02-20 12:01
Flink专栏
flink
apache
大数据
java
【天衍系列 04】深入理解
Flink
的ElasticsearchSink组件:实时数据流如何无缝地流向Elasticsearch
文章目录01ElasticsearchSink基础概念02ElasticsearchSink工作原理03ElasticsearchSink核心组件04ElasticsearchSink配置参数05ElasticsearchSink依赖管理06ElasticsearchSink初阶实战07ElasticsearchSink进阶实战7.1包结构&项目配置项目配置application.properti
浅夏的猫
·
2024-02-20 12:59
Flink专栏
flink
elasticsearch
java
大数据
apache
Flink
理论—
Flink
架构设计
Flink
架构设计
Flink
是一个分布式系统,需要有效分配和管理计算资源才能执行流应用程序。
不二人生
·
2024-02-20 12:59
#
Flink
理论
flink
大数据
ConcurrentHashMap的死循环问题
文章目录前言1.情景复现2.
源码解析
3.代码调试4.原因5.解决前言对于ConcurrentHashMap来说,能保证多线程下的安全问题,但是在JDK1.8中还是会出现一个bug,就是computeIfAbsent
JWASX
·
2024-02-20 11:19
源码分析
哈希算法
java
散列表
一种Hudi on
Flink
动态同步元数据变化的方法
文章目录一、背景二、官方SchemaEvolution例子三、
Flink
+Hudi实现SchemaEvolution四、`Hoodie
Flink
Streamer`流程浅析及扩展方法4.1
Flink
KafkaConsumer4.2RowDataToHoodieFunction4.3StreamWriteFunction4.4StreamWriteOperatorCoordinator4.5Compa
0x3E6
·
2024-02-20 10:30
flink
大数据
ApacheHudi
flink
big
data
大数据
透彻理解实时数仓的支撑技术:Upsert Kafka 和
Flink
动态表(Dynamic Table)
博主历时三年精心创作的《大数据平台架构与原型实现:数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行,点击《重磅推荐:建大数据平台太难了!给我发个工程原型吧!》了解图书详情,京东购书链接:https://item.jd.com/12677623.html,扫描左侧二维码进入京东手机购书页面。动态表本质上是一条流(stream),upsert-kafka映射的数据表底层存储的
Laurence
·
2024-02-20 10:23
大数据专题
upsert-kafka
flink
动态表
原理
解释
更新
Flink
部署——弹性扩缩容
模式入门用法配置建议局限性Adaptive调度器用法局限性AdaptiveBatchScheduler用法启用AdaptiveBatchScheduler配置算子的并行度为-1性能调优局限性在Apache
Flink
京河小蚁
·
2024-02-20 09:31
flink
flink
大数据
一文搞懂 MySQL、debezium 和 ElasticSearch 的时间格式
前言最近在使用
Flink
CDC做MySQL到ElasticSearch的数据同步,在数据同步的过程中遇到了一些关于日期类型的问题,在这里整理总结一下。
程序员白总
·
2024-02-20 09:58
flink
mysql
elasticsearch
数据库
大数据
flink
debezium
CDC
Flink
1.14
源码解析
Reactive-mode自动扩缩容
文章部分截图如下:更多详情请见以下链接:【腾讯文档】
Flink
源码中Reactive-Mode自动扩缩容关于扩容的处理
Better~Me
·
2024-02-20 09:27
公开专栏
大数据
Flink内核源码解读
flink
Reactive-mode
自动扩缩
基于 Reactive Mode 的
Flink
自动扩容
翻译自Apache
Flink
:Scaling
Flink
automaticallywithReactiveMode简介流式作业长时间运行过程中常常会经历不同流量负载的情况。
大数据AI
·
2024-02-20 09:25
大数据从入门到精通
flink
大数据
从零开始快速构建自己的
Flink
应用
本文介绍如何在mac下快速构建属于自己的
Flink
应用。
程序员白总
·
2024-02-20 09:55
flink
flink
大数据
Redisson 如何实现分布式锁
针对项目中使用的分布式锁进行简单的示例配置以及
源码解析
,并列举源码中使用到的一些基础知识点,但是没有对redisson中使用到的netty知识进行解析。
不怕天黑_0819
·
2024-02-20 09:42
Flink
SQL
Flink
SQL来源:B站尚硅谷sql-client准备TableAPI和SQL是最上层的API,在
Flink
中这两种API被集成在一起,SQL执行的对象也是
Flink
中的表(Table),所以我们一般会认为它们是一体的
魅美
·
2024-02-20 08:10
大数据基础
笔记
flink
sql
大数据
Docker中部署
flink
集群的两种方式
文章目录一、概述二、准备工作三、方式一四、方式二1、准备配置文件2、执行docker命令一、概述本文将通过2种方式在docker中部署
flink
standalone集群,集群中共有4个节点,分别是1个jobManager
尐葮阿譽
·
2024-02-20 08:02
Java基础
docker
flink
容器
【
Flink
入门修炼】1-4
Flink
核心概念与架构
前面几篇文章带大家了解了
Flink
是什么、能做什么,本篇将带大家了解
Flink
究竟是如何完成这些的,
Flink
本身架构是什么样的,让大家先对
Flink
有整体认知,便于后期理解。
大数据王小皮
·
2024-02-20 07:24
Flink
入门修炼
flink
架构
大数据
Hbase - 自定义Rowkey规则
>在
Flink
中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢,这时候我们就可以定制`TableInputFormat`来实现我们的需求了,我们还可以采用
Flink
的`DataSet
kikiki5
·
2024-02-20 07:17
解决:
FLINK
1.12.0 Upsert Kafka SQL Connector 无法识别scan.startup.mode的问题
问题描述:在升级
Flink
1.12.0以后UpsertKafkaSQLConnector不支持scan.startup.mode、scan.startup.specific-offsets、scan.startup.timestamp-millis
zengjinbo
·
2024-02-20 07:43
Flink
flink
java
实时大数据
【天衍系列 05】
Flink
集成KafkaSink组件:实现流式数据的可靠传输 & 高效协同
创建数据源5.将数据流添加到KafkaSink6.内部工作机制04KafkaSink参数配置05KafkaSink应用依赖06KafkaSink快速入门6.1包结构6.2项目配置6.3pom文件6.4
Flink
浅夏的猫
·
2024-02-20 07:41
Flink专栏
flink
大数据
kafka
java
apache
若依前后端分离如何写移动端接口_前后端分离架构概述
1、背景2、未分离时代(各种耦合)3、半分离时代4、分离时代5、总结参考《Java2019超神之路》《Dubbo实现原理与
源码解析
——精品合集》《Spring实现原理与
源码解析
——精品合集》《MyBatis
weixin_39637661
·
2024-02-20 07:11
若依前后端分离如何写移动端接口
【
Flink
】ClassNotFoundException: org.apache.hadoop.conf.Configuration
问题背景在
Flink
的sql-client客户端中执行连接hive的sql代码时出现如下错误,版本
Flink
1.13.6
Flink
SQL>createcatalogtestwith(>'type'='hive
一杯咖啡半杯糖
·
2024-02-20 07:38
Flink实战
flink
hadoop
sql
Flink
Sql一个简单的测试程序
Flink
Sql一个简单的测试程序以下是一个简单的
Flink
SQL示例,展示了如何使用
Flink
TableAPI和
Flink
SQL进行基本的数据流处理。
公子乂
·
2024-02-20 07:36
java
flink
flink
sql upsert kafka对于changelogNormalize state解读
flink
sqlupsertkafka对于changelogNormalizestate解读原文:https://www.jianshu.com/p/5ffe5aa0dc59这里说一点:
flink
sql-upsertkafka
minchowang
·
2024-02-20 07:36
Flink
2024.2.19 阿里云
Flink
一、
Flink
基本介绍Spark底层是微批处理,
Flink
底层则是实时流计算流式计算特点:数据是源源不断产生,两大问题,乱序和延迟Stateful:有状态
Flink
的三个部分Source:Transactions
白白的wj
·
2024-02-20 07:05
flink
大数据
生产环境下,应用模式部署
flink
任务,通过hdfs提交
前言 通过通过yarn.provided.lib.dirs配置选项指定位置,将
flink
的依赖上传到hdfs文件管理系统1.实践 (1)生产集群为cdh集群,从cm上下载配置文件,设置环境exportHADOOP_CONF_DIR
但行益事莫问前程
·
2024-02-20 07:04
flink
flink
Flink
容错机制
目录
Flink
容错机制一,检查点:二,保存点:
Flink
容错机制一,检查点:在出现故障时,我们将系统重置回正确状态,以确保数据的完整性和准确性。
佛系爱学习
·
2024-02-20 07:30
flink知识点
flink
大数据
Flink
Upsert Kafka SQL Connector 介绍
在
Flink
1.11中,能够通过
flink
-cdc-connectors项目提供的changelog-jsonformat来实现该性能。
大数据AI
·
2024-02-20 07:00
大数据从入门到精通
flink
kafka
Flink
Catalog 解读与同步 Hudi 表元数据的最佳实践
在当前的大数据格局中,Spark/Hive/
Flink
是最为主流的ETL或Strea
Laurence
·
2024-02-20 06:28
大数据专题
flink
catalog
hudi
metastore
hive
共用表
元数据
以内存为核心的开源分布式存储系统
Tachyon为不同的大数据计算框架(如ApacheSpark,HadoopMapReduce,Apache
Flink
等)提供可靠的内存级的数据共享服务。
这次靠你了
·
2024-02-20 05:26
大数据
Tachyon
hdfs
大数据
上一页
4
5
6
7
8
9
10
11
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他