E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
大数据框架flink
Killing LeetCode [55] 跳跃游戏
IntroRe
fLink
:https://leetcode.cn/problems/jump-game/Difficulty:MediumTag:Array、DynamicProgrammingUpdatedDate
VivienneW_w
·
2023-07-17 05:37
leetcode
算法
数据结构
为什么会是
Flink
Flink
的具体优势有以下几点:1.同时支持高吞吐、低延迟、高性能
Flink
是目前开源社区中唯一一套集高吞吐、低延迟、高性能三者于一身的分布式流式数据处理框架。
山间浓雾有路灯
·
2023-07-17 04:40
大数据计算分析技术:批处理、流计算、OLAP引擎
目录一、批处理的基石:MapReduce1.工作流程2.实例分析二、流计算的代表:storm、sparkstreaming和
flink
青果HA
·
2023-07-17 02:37
大数据处理技术和大数据测试
批处理和流计算
Flink
集群部署总结
集群部署方式
Flink
有两种部署方式,Standalone和
Flink
onYarn集群部署方式。
csdncjh
·
2023-07-17 00:31
flink
大数据
第二章
flink
基本概念 - 窗口
简介
Flink
认为Batch是Streaming的一个特例,所以
Flink
底层引擎是一个流式引擎,在上面实现了流处理和批处理。而窗口(window)就是从Streaming到Batch的一个桥梁。
0人间四月天O
·
2023-07-16 22:10
spark sql和
flink
的滑动窗口
sparksql的滑动窗口第一个参数为事件时间的字段列第二个参数是窗口大小第三个参数是窗口步长第四个参数为可选,用来设置时间偏移参考:https://www.iteblog.com/archives/1705.htmlvalret=pre_data.withWatermark("time","5seconds").groupBy(window($"time","5minutes","5minute
王金松
·
2023-07-16 21:08
flink
cdc 整理
flink
posgresqlcdc前置工作1,更改配置文件postgresql.conf#更改wal日志方式为logicalwal_level=logical#minimal,replica,orlogical
叫小七的剑客
·
2023-07-16 20:11
CentOS关闭防火墙
CentOS关闭防火墙问题描述:在win10上的虚拟机上安装了centos7,并安装了
flink
,虚拟机curllocalhost:8081能返回html结果,centos和windows能互相ping
不败顽童博主
·
2023-07-16 20:00
操作系统
Centos
Linux
Javaweb
springboot
从一例状态引发的性能问题谈
Flink
状态序列化
上周帮助他人快速解决了一个因误用
Flink
状态类型引发的性能问题,在这里做个quicknotes,并简要介绍一下
Flink
状态序列化方面的基础知识。
LittleMagic
·
2023-07-16 18:33
判断方法是否运行在指定线程中
判断某个方法是否运行在指定线程中:方法位置:org.apache.
flink
.runtime.rpc.MainThreadValidatorUtil#isRunningInExpectedThread/
zxfBdd
·
2023-07-16 12:27
Java
大数据
java
前端
javascript
Flink
Sql概述
Flink
学习笔记-6一、
Flink
SQL概述1.流处理中的表2.将流转换成动态表3.将动态表转换为流二、时间属性1.事件时间2.处理时间一、
Flink
SQL概述TableAPI和SQL是最上层的API
Aimyon_36
·
2023-07-16 11:52
Flink
sql
java
数据库
Flink
[容错机制 状态一致性]
Flink
学习笔记-4一、检查点(Checkpoint)1.检查点的保存2.从检查点恢复状态二、检查点分界线(Barrier)1.分布式快照算法(Barrier对齐的精准一次)2.分布式快照算法(Barrier
Aimyon_36
·
2023-07-16 11:22
Flink
flink
java
大数据
Flink
[时间窗口 水位线]
Flink
学习笔记-2一、
Flink
中的时间和窗口1.窗口(Window)2.窗口API二、窗口函数(WindowFunctions)1.增量聚合函数2.全窗口函数3.增量聚合和全窗口函数的结合使用4.
Aimyon_36
·
2023-07-16 11:21
Flink
flink
windows
大数据
快速修复 Log4j “核弹级” 漏洞
漏洞利用无需特殊配置,经安全团队验证,ApacheStruts2、ApacheSolr、ApacheDruid、Apache
Flink
等均受影响。
sknfie
·
2023-07-16 10:36
Iceberg从入门到精通系列之十六:
Flink
Iceberg Connector
Iceberg从入门到精通系列之十六:
Flink
Connector一、
Flink
IcebergConnector二、在Hive目录中管理的表三、在自定义目录中管理表四、一个完整的例子一、
Flink
IcebergConnectorApache
Flink
最笨的羊羊
·
2023-07-16 06:17
日常分享专栏
Iceberg
Flink
Connector
技术分享:
Flink
源码分析-Task执行
所有的分布式计算引擎都有一个序列化任务然后提交给各Worker节点去执行的过程,我们在开始开发
Flink
作业或者Spark作业时,也经常会遇到一些序列化相关的异常,所有这些都牵扯到几个问题:
Flink
如何来描述我们开发的数据处理逻辑
大嘴吧Lucy
·
2023-07-16 05:23
工程师实战
flink
Hbase - 自定义Rowkey规则
>在
Flink
中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢,这时候我们就可以定制`TableInputFormat`来实现我们的需求了,我们还可以采用
Flink
的`DataSet
kikiki5
·
2023-07-16 04:17
Flink
CDC如何实时同步mysql数据到DorisDB/StarRocks
一、创建数据表1、DorisBD表创建CREATETABLEtest(idINT,studentVARCHAR(32),phoneVARCHAR(32))UNIQUEKEY(id)DISTRIBUTEDBYHASH(id)BUCKETS3PROPERTIES("replication_num"="1");2、mysql表创建CREATETABLE`test`(`id`bigint(20)NOTNU
Demon_gu
·
2023-07-16 01:56
DorisDB
StarRocks
Flink
mysql
java
flink
Rancher应用商店的questions.yml接收数组参数
背景制作
Flink
Cluster的Chart包,要求应用商店界面输入接受数组参数,questions.yml是不支持这种形式的解决方案questions.yml中的参数最终是以--setname=value
水淹萌龙
·
2023-07-15 22:04
K8S
学习笔记
rancher
rancher
java
大数据
Flink
+hadoop部署及Demo
Hadoop集群高可用部署下载hadoop包地址https://dlcdn.apache.org/hadoop/common/hadoop-3.2.4/hadoop-3.2.4.tar.gz上传并解压到3台服务器配置3台主机的hosts和免密登录1.修改.bash_profilevi.bash_profile#HADOOP_HOMEexportHADOOP_HOME=/apps/svr/hadoo
Persistence___
·
2023-07-15 18:31
hadoop
flink
hdfs
卓越的流处理:Apache
Flink
对 Data Lakehouse 架构的影响
Apache
Flink
独特的流式处理和容错特性使其成为高效数据湖实现的强有力选择。在数据驱动决策的时代,数据湖仓库范式已经成为一种有前途的解决方案,将数据湖和数据仓库的优点结合起来。
沃趣数据库管理平台
·
2023-07-15 16:50
云数据库
apache
flink
架构
iceberg-
flink
十:idea将下载jar包,加载到idea。
q=iceberg-
flink
https://repo1.maven.org/maven2/org/apache/iceberg/iceberg-
flink
-runtime-1.13/0.13.2/二:
宇智波云
·
2023-07-15 16:49
iceberg
flink
intellij-idea
flink
jar
iceberg-
flink
十:
flink
窗口,事件时间,处理时间。
flink
窗口窗口的开始和结束的时间,是按照服务器当前的时间进行统计的。比如,当前时间为2023-03-2816:23按照五分钟进行开窗。
宇智波云
·
2023-07-15 16:19
flink
大数据
hadoop 3.2.1 在windows10源码编译
一、HadoopHadoop是一个开源的
大数据框架
,是一个分布式计算的解决方案。Hadoop的两个核心解决了数据存储问题(HDFS分布式文件系统)和分布式计算问题(MapRe-duce)。
droxy
·
2023-07-15 14:23
技术人生
hadoop
java
大数据
linux
cmake
基于
Flink
SQL CDC的实时数据同步方案
基于
Flink
SQLCDC的实时数据同步方案http://www.dreamwu.com/post-1594.html
青云游子
·
2023-07-15 13:26
Flink
flink
大数据
大数据之
flink
容错机制
大数据之
flink
容错机制https://blog.51cto.com/dashujutongmeng/5241407
青云游子
·
2023-07-15 13:26
Flink
大数据
flink
Flink
-intervalJoin源码和并行度问题
把两个流的数据先保存到状态中先判断有没有迟到,迟到就放到侧输出流再根据范围找数据然后根据上界删除数据packagecom.atguigu.gmall.realtime.test;importorg.apache.
flink
.api.common.eventtime.SerializableTimestampAssigner
青云游子
·
2023-07-15 13:26
Flink
flink
大数据
Flink
-面试题
1.实操:熟练书写
Flink
的WordCount代码packagecom.atguigu.
flink
.pojo;importlombok.AllArgsConstructor;importlombok.Data
青云游子
·
2023-07-15 13:56
Flink
flink
Flink
-任务槽和并行度的关系
任务槽和并行度都跟程序的并行执行有关,但两者是完全不同的概念。简单来说任务槽是静态的概念,是指TaskManager具有的并发执行能力,可以通过参数taskmanager.numberOfTaskSlots进行配置;而并行度是动态概念,也就是TaskManager运行程序时实际使用的并发能力,可以通过参数parallelism.default进行配置。举例说明:假设一共有3个TaskManager
青云游子
·
2023-07-15 13:56
Flink
flink
大数据
Flink
-窗口源码
滚动窗口底层只有一个窗口,每次用for循环,把前面过期的数据移除,留下的数据再进行计算滑动窗口的时间窗口,是有多个window的,因为有重叠的数据计数窗口、计数滑动窗口,底层只有一个窗口会话窗口只有一个window放窗口->触发器->process出结果参考:https://blog.csdn.net/WenWu_Both/article/details/100879556https://gith
青云游子
·
2023-07-15 13:55
Flink
flink
大数据
大数据技术概述(一)
1.1.2大数据分而治之1.2从流处理到批处理1.2.1数据与数据流1.2.2批处理与流处理1.2.3流处理框架1.3大数据技术1.3.1Hadoop1.3.2Spark1.3.3Kafka1.3.4
Flink
1.4
ChlinRei
·
2023-07-15 13:42
大数据
大数据
flink
kafka
hdfs中的租约机制及
Flink
写hdfs文件未关闭
在HDFS中,租约机制是用来管理文件的写入和编辑操作的一种机制。租约机制包括主租约和副租约两种类型。主租约是由文件的创建者持有的,它控制着文件的写入和编辑权限。创建者在写入或编辑文件时,需要先获取主租约。一旦获取到主租约,创建者可以将数据写入文件,并且其他用户无法对该文件进行写入或编辑操作。主租约的持有者可以选择将租约延长,以延续对文件的写入和编辑权限。副租约是由其他用户持有的,它允许持有者以追加
SparkSql
·
2023-07-15 11:33
hdfs
hadoop
大数据
Flink
on Yarn三部曲之一:准备工作
欢迎访问我的GitHubhttps://github.com/zq2599/blog_demos内容:所有原创文章分类汇总及配套源码,涉及Java、Docker、Kubernetes、DevOPS等;关于
Flink
onYarn
程序员欣宸
·
2023-07-15 09:06
Apache
Flink
- 水位线(Watermark)
在Apache
Flink
中,水位线(Watermark)是用于处理事件时间窗口操作的关键概念之一。水位线表示事件流的进程时间进展,并用于触发和关闭事件时间窗口。
wzxue1984
·
2023-07-15 07:44
flink
大数据
Apache
Flink
- 窗口(Window)
在Apache
Flink
中,窗口(Window)是用于处理无限事件流中有限大小数据集的机制。窗口将事件按照时间、数量或其他特定条件分组,并在每个窗口上进行计算操作。
wzxue1984
·
2023-07-15 07:44
flink
大数据
Flink
实现动态时间窗口
不过这些窗口时间是固定的不可改变,当有需求要求调整时间窗口大小的时候就得重新启动,然后发布程序,这种方式在变更频率小的时候无所谓,当变更频率大的时候就很耗时间,那么接下来介绍一种可以动态更改窗口时间的方法:
Flink
必须会一定会
·
2023-07-15 07:10
Flink
那些事
flink
linq
大数据
flink
1.14编译:
flink
-fs-hadoop-shaded找不到
true-Dcheckstyle.skip=true-Dmaven.test.skip:跳过测试代码-Dmaven.javadoc.skip:跳过javadoc检查-Dcheckstyle.skip:跳过代码风格检查编译
flink
1.14.4
必须会一定会
·
2023-07-15 07:10
Flink
那些事
hadoop
flink
大数据
浏览器连不上
Flink
WebUI 8081 端口
作者安装
flink
-1.15.1后,start-cluster.sh启动,发现浏览器连不上
Flink
WebUI的8081端口。
奇迹虎虎
·
2023-07-15 04:15
#
Flink
flink
大数据
big
data
linux
Flink
Sql+Stream综合使用+广播流
Flink
状态管理状态的分类
Flink
容错机制StateVsCheckPointCheckPoint原理State状态后端/State存储介质状态恢复和重启策略SavePoint
Flink
TableAPI
归去来兮★
·
2023-07-15 02:55
java
大数据
java
开发语言
Spring集成
Flink
快速开发
Flink
概念和使用场景
Flink
是一个流式数据处理框架,它可以对无限量的数据进行快速、有状态的处理。相比于传统批处理和Spark的批流一体,
Flink
更加注重流式计算和实时处理。
、小H
·
2023-07-15 02:55
java
开发语言
flink
使用
Flink
MySQL cdc分别sink到ES、Kafka、Hudi
环境说明[
flink
-1.13.1-bin-scala_2.11.tgz](https://archive.apache.org/dist/
flink
/
flink
-1.13.1/
flink
-1.13.1
白杨Shayne
·
2023-07-15 01:44
大数据
Flink
大数据
Flink
FlinkCDC
Hudi
Flink
CDC-Hudi:Mysql数据实时入湖全攻略四:两种
Flink
Sql kafka connector的特征与应用
前序:
Flink
CDC-Hudi系列文章:
Flink
CDC-Hudi:Mysql数据实时入湖全攻略一:初试风云
Flink
CDC-Hudi:Mysql数据实时入湖全攻略二:Hudi与Spark整合时所遇异常与解决方案
大数据点灯人
·
2023-07-15 01:12
Flink
Kafka
Hudi
kafka
mysql
spark
百信银行基于 Apache Hudi 实时数据湖演进方案
内容包括:背景百信银行基于
Flink
的实时计算平台设计与实践百信银行实时计算平台与实时数据湖的集成实践百信银行实时数据湖的
阿里开发者
·
2023-07-15 01:39
存储
消息中间件
分布式计算
关系型数据库
MySQL
大数据
Kafka
Apache
流计算
索引
Flink
执行./bin/start-cluster.sh 提示需要输入登录密码
问题现象:准备搭建
Flink
的standalonecluster模式,先单机点测试,配置如下conf/masters中配置本机IPconf/slaves中配置本机IP使用.
zou79189747
·
2023-07-15 00:42
flink
flink
免密登录
Flink
部署
知识源于积累,登峰造极源于自律今天我根据以前所以学的一些文献,笔记等资料整理出一些小知识点,有不当之处,欢迎各位斧正
Flink
部署(两种模式)一.Standalone模式(
Flink
自带的)①安装解压缩
shangbaishuyao
·
2023-07-15 00:12
Flink
大数据
hadoop
flink
flink
设置登录密码
1、安装httpd2、生成用户密码3、配置nginx.conf4、重启nginx5、登录验证
flink
进行standalone安装候,不需要登录密码,可以直接访问,存在一定安全隐患,可以通过nginx以及
菜菜的中年程序猿
·
2023-07-15 00:12
flink
flink
nginx
服务器
flink
任务在yarn里设置用户名
spark任务可以通过--proxy-userxxxx能设置代理用户执行任务,在yarn的applicationui里的username显示为xxxx
flink
任务可以通过在执行
flink
run之前exportHADOOP_USER_NAME
玉羽凌风
·
2023-07-15 00:42
FLINK
flink
精通
Flink
项目优化(二.反压处理)
反压处理反压(BackPressure)通常产生于这样的场景:短时间的负载高峰导致系统接收数据的速率远高于它处理数据的速率。许多日常问题都会导致反压,例如,垃圾回收停顿可能会导致流入的数据快速堆积,或遇到大促、秒杀活动导致流量陡增。反压如果不能得到正确的处理,可能会导致资源耗尽甚至系统崩溃。反压机制是指系统能够自己检测到被阻塞的Operator,然后自适应地降低源头或上游数据的发送速率,从而维持整
Keven He
·
2023-07-15 00:41
#
Flink
flink
实时计算
Flink
> 准备工作——账号管理
本页目录账号模型主子账号账号安全账号模型授权RAM控制台:https://ram.console.aliyun.com/实时计算
Flink
账号系统目前仅支持阿里云账号体系和RAM主子账号模型。
weixin_34018202
·
2023-07-15 00:39
大数据
Flink
篇——1.运行架构
Flink
运行架构一.运行组件1.JobMnanager2.ResourceManager3.TaskManager4.Dispatcher二.提交流程(以YARN方式举例)三.任务调度原理1.TaskManager
qq_39884506
·
2023-07-15 00:37
Flink
flink
大数据
上一页
94
95
96
97
98
99
100
101
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他