flink高可用

flinkcdc 3.0 尝鲜

本文会将从环境搭建到demo来全流程体验flinkcdc3.0包含了如下内容flink1.18standalone搭建doris1fe1be搭建整库数据同步测试各同步场景从检查点重启同步任务环境搭建flink
Antg·2024-01-22 03:51

同城双活与异地多活架构分析

本文首发于vivo互联网技术微信公众号链接：https://mp.weixin.qq.com/s/OjfFcjnGWV5kutxXndtpMg作者：vivo官网商城开发团队采用高可用系统架构支持重要系统
vivo互联网技术·2024-01-22 03:14

Flink SQL Window源码全解析

文章目录一、概述二、Window分类1、TimeWindow与CountWindow2、TimeWindow子类型TumbleWindow（翻转窗口）HopWindow（滑动窗口）SessionWindow（会话窗口）三、Window分类及整体流程四、创建WindowOperator算子五、WindowOperator处理数据图解六、WindowOperator源码调试1、StreamExecGr
王知无·2024-01-22 03:07

MQ与RabbitMQ面试题（持续更新...）

(重要)如何保证高可用的？RabbitMQ的集群MQ的
心安成长·2024-01-21 23:17

解锁高性能工具etcd大牛们常用的命令

目录1.前言2.常用命令3.总结1.前言etcd简介：etcd是CoreOS团队于2013年6月发起的开源项目，它的目标是构建一个高可用的分布式键值(key-value)数据库。
北京-景枫·2024-01-21 20:25

支持微服务架构的流数据处理

之前说过消息传输系统一方面将生产者和消费者解耦，另一方面又有足够高的吞吐量，并且能够满足像Flink这样的高性能流
afansdie·2024-01-21 19:49

基于PiflowX构建MySQL和Postgres的Streaming ETL

说明：案例来自flinkcdc官方。
PiflowX·2024-01-21 18:07

PiflowX组件-PostgresCdc

计算引擎flink组件分组cdc端口Inport：默认端口outport：默认端口组件属性名称展示名称默认值允许值是否必填描述例子hostnameHostname“”无是PostgreSQL数据库服务器的
PiflowX·2024-01-21 18:37

PiflowX组件-OracleCdc

计算引擎flink组件分组cdc端口Inport：默认端口outport：默认端口组件属性名称展示名称默认值允许值是否必填描述例子hostnameHostname“”无是Oracle数据库服务器的IP地址或主机名
PiflowX·2024-01-21 18:36

深耕文档型数据库12载，SequoiaDB再开源

本次活动回顾了巨杉数据库深耕JSON文档型数据库12年的发展历程与技术演进，全面解读了SequoiaDB包括在高可用、安全、实时、易用性四个方向的技术特性，宣布了2024年面向技术社区的开源计划。
巨杉数据库SequoiaDB·2024-01-21 18:30

flink 容错机制

ApacheFlink提供了一种容错机制，可以持续恢复数据流应用程序的状态。该机制确保即使出现故障，程序的状态最终也会反映来自数据流的每条记录(只有一次)。
少年阿宏·2024-01-21 17:13

Flink容错机制（一）

目录十：容错机制10.1检查点（Checkpoint）10.1.1检查点的保存10.1.2从检查点恢复状态10.1.3检查点算法10.1.4检查点配置10.1.5保存点（Savepoint）十：容错机制流式数据连续不断地到来，无休无止；所以流处理程序也是持续运行的，并没有一个明确的结束退出时间。机器运行程序，996起来当然比人要容易得多，不过希望“永远运行”也是不切实际的。因为各种硬件软件的原因，
大数据阿嘉·2024-01-21 17:12

Flink容错机制（二）

10.2状态一致性10.2.1一致性的概念和级别10.2.2端到端的状态一致性10.3端到端精确一次（end-to-endexactly-once）10.3.1输入端保证10.3.2输出端保证10.3.3Flink
大数据阿嘉·2024-01-21 17:12

穿越Flink的时间隧道：解锁实时数据之窗，掌握流处理之巅

目录Flink中的时间和窗口1时间语义1.1Flink中的时间语义1.1.1处理时间1.1.2事件时间1.2那种时间语义更重要2水位线2.1事件时间和窗口2.2什么是水位线2.3如何生成水位线2.3.1
佛系爱学习·2024-01-21 17:42

Flink项目（看了就会）

Flink基本项目WordCount一，Flink批处理WordCount使用maven先配置好pom文件然后在项目目录上创建input包然后在input包中创建word文件word.txt并在文件中添加一下内容
佛系爱学习·2024-01-21 17:42

Flink窗口

Flink窗口Flink用来处理流式数据源源不断，这时为了更加方便的处理流式数据一种方法就是将流式数据切割成有限的数据块进行处理，这个数据块被称为窗口。
佛系爱学习·2024-01-21 17:12

Flink容错机制

Flink容错机制一，检查点：在出现故障时，我们将系统重置回正确状态，以确保数据的完整性和准确性。在流处理中，我们采用存档和读档的策略，将之前的计算结果进行保存。
佛系爱学习·2024-01-21 17:40

MySQL主从集群

当单机模式部署，不满足安全性、高可用、高并发等需求的时候，就需要考虑主从模式或者集群模式部署。什么是主从模式？
连不到蓝牙·2024-01-21 16:18

什么是中间件？

中间件生态漫谈数据库中间件读写分离分库分表引进数据库中间件MyCat服务端代理模式ShardingJDBC客户端代理模式总结IT系统从单体应用逐渐向分布式架构演变，高并发、高可用、高性能、分布式等话题变得异常火热
善守的大龙猫·2024-01-21 15:44

HBase节点故障的容错方案

HBase节点故障的容错方案1.Master高可用1.1选主和HA切换逻辑2.RS高可用2.1感知RS节点异常2.2异常DN上的数据处理4.疑问和思考5.参考文档本文主要探讨hbase集群的高可用容错方案和容错能力的探讨
李姓门徒·2024-01-21 14:31

Flink 指标监控整理

本篇文章对Flink的指标监控进行讲解，期望能够帮助到大家更好的对Flink进行监控。1.整体流程整体的流程包括3个部分，指标推送->采集指标->展示指标。
屋顶看飞机·2024-01-21 14:59

【系统架构】消息中间件的架构和原理

消息中间件的作用就是用来异步化并发能力的一个载体，不仅如此，它仍然需要在架构上保证很多能力，高可用，高并发，可扩展，可靠性，完整性，保证顺序等，光是这些都已经让各种设计者比较头疼了；更有一些变态的需求，
禅与计算机程序设计艺术·2024-01-21 14:32

Nginx反向代理配置模块详解

Nginx反向代理配置模块详解一、前言随着互联网的发展，Web应用越来越广泛，随之而来的是对Web服务器的高并发、高可用、高性能等需求的日益增长。
M乔木·2024-01-21 13:00

【论文阅读】Non-blocking Lazy Schema Changes in Multi-Version

第二个是满足高可用，SaaS、PaaS要提供高可用的系统给用户，停机更新是不可以的。高可用且不牺牲一致性的系统要有以下特点：隔离级别：事务中不能发生
Tototototorres·2024-01-21 12:08

【征服Redis12】redis的主从复制问题

在实际应用中，为了保证Redis的高可用性，通常需要使用主从复制来进行数据备份和故障转移。本文将介绍Redis主从复制的概念、原理和实现方式，以及主从复
纵横千里，捭阖四方·2024-01-21 11:31

Centos7中KeepAlived&Nginx高可用

Centos7中KeepAlived&Nginx高可用一.部署前规划角色操作系统IPmasterCentos7.8192.168.56.101backupCentos7.8192.168.56.102二
冰之杍·2024-01-21 11:59

【redis13】集群前奏：sentinel模式

1.哨兵sentinel引入背景我们现在来思考一个问题：如何实现服务的高可用。
纵横千里，捭阖四方·2024-01-21 11:26

Zabbix分布式监控系统概述、部署、自定义监控项、邮件告警

目录前言（一）业务架构（二）运维架构一、Zabbix分布式监控平台（一）Zabbix概述（二）Zabbix监控原理（三）Zabbix6.0新特性1.Zabbixserver高可用2.Zabbix6.0LTS
江南字子川·2024-01-21 09:33

02-黑马程序员大数据开发：分布式计算和分布式资源调度

分布式计算模式：分散->汇总模式（MapReduce）和中心调度->步骤执行模式（ApacheSpark,Flink;比较复杂，中间会有数据交换的过程）；2.MapReduce概述MapReduce是Hadoop
S1406793·2024-01-21 08:52

Redis持久化和集群架构

目录Redis持久化RDB快照（snapshot）RDB优点RDB缺点RDB的触发机制AOF持久化AOF文件重写AOF触发机制混合模式Redis主从架构Redis哨兵高可用架构RedisCluster架构槽位定位算法跳转重定位
山鸟与鱼！·2024-01-21 08:33

Flink三种运行模式分析

Flink运行模式有三种：session、per-job、Application。其中三者核心区别点：1.集群的生命周期和资源管理隔离程度2.main()方法的执行是在客户端还是集群。
飞_侠·2024-01-21 07:44

HDFS节点故障的容错方案

HDFS节点故障的容错方案1.NN高可用1.1选主逻辑1.2HA切换1.3注意点1.3.1fencing的处理1.3.2健康状态的定义1.3.3确保zk中的父节点存在1.3.4确保NN的ID与IP保持一致
李姓门徒·2024-01-21 07:06

YARN节点故障的容错方案

YARN节点故障的容错方案1.RM高可用1.1选主和HA切换逻辑2.NM高可用2.1感知NM节点异常2.2异常NM上的任务处理4.疑问和思考4,1RM感知NM异常需要10min，对于app来说是否太长了
李姓门徒·2024-01-21 07:06

关于常见分布式组件高可用设计原理的理解和思考

文章目录1.数据存储场景和存储策略1.1镜像模式-小规模数据1.2分片模式-大规模数据2.数据一致性和高可用问题2.1镜像模式如何保证数据一致性2.2镜像模式如何保证数据高可用2.2.1HA模式2.2.2
李姓门徒·2024-01-21 07:30

Flink处理函数（3）—— 窗口处理函数

窗口处理函数包括：ProcessWindowFunction和ProcessAllWindowFunction基础用法stream.keyBy(t->t.f0).window(TumblingEventTimeWindows.of(Time.seconds(10))).process(newMyProcessWindowFunction())这里的MyProcessWindowFunction就是
THE WHY·2024-01-21 06:45

Flink处理函数（2）—— 按键分区处理函数

定时器（Timer）和定时服务（TimerService）定时器（timers）是处理函数中进行时间相关操作的主要机制定时服务（TimerService）提供了注册定时器的功能TimerService是Flink
THE WHY·2024-01-21 06:37

Spark和Flink的区别?

Flink和Spark都是基于内存计算、支持实时/批处理等多种计算模式的统一框架1,技术理念不同Spark的技术理念是使用微批来模拟流的计算,基于Micro-batch,数据流以时间为单位被切分为一个个批次
写scala的老刘·2024-01-21 06:42

【数据库】聊聊InnoDB存储引擎结构

高可用、高性能等。本篇主要从InnoDB切入，了解，一行数据在InnoDB中是如何存储的。MySQL逻辑架构InnoDB架构从架构上可以看出，主要分的是内存结构和磁
qxlxi·2024-01-21 06:44

构建高可用消息队列系统 01

构建高可用消息队列系统01引言1.RabbitMQ简介介绍1.1什么是RabbitMQ1.2RabbitMQ的核心特性1.3RabbitMQ与AMQP2.安装RabbitMQ3.消息队列实践总结引言在当今互联网时代
叶秋∵·2024-01-21 06:43

flink operator 拉取阿里云私有镜像（其他私有类似）

创建k8ssecretkubectl--namespaceflinkcreatesecretdocker-registryaliyun-docker-registry--docker-server=registry.cn-shenzhen.aliyuncs.com
卤蛋x001·2024-01-21 06:08

RabbitMQ 消息队列入门

什么是RabbitMQMQ（MessageQueue）消息队列消息队列中间件，是分布式系统中的重要组件；主要解决异步处理、应用解耦、流量削峰等问题，从而实现高性能，高可用，可伸缩和最终一致性的架构。
RendaZhang·2024-01-21 05:01

通过WordCount解析Spark RDD内部源码机制

HelloSparkHelloScalaHelloHadoopHelloFlinkSparkisAwesome然后在Eclipse中编写wo
联旺·2024-01-21 01:54

【MySQL】索引

一、InnoDB存储引擎InnoDB是一种兼顾高可用、高性能的通用存储引擎。
小星星*·2024-01-21 00:09

Hologres V2.1版本发布，新增计算组实例构建高可用实时数仓

V2.1版本简介新增弹性计算组实例，解决实时数仓场景下分析性能、资源隔离、高可用、弹性扩缩容等核心问题，同时新增多种用户分析函数与实时湖仓Paimon格式支持，COUNTDISTINCT优化显著提升查询效率
阿里云大数据AI技术·2024-01-20 21:07

mysql主从,高可用复制原理（I）

1.简介mysql从3.23版本开始提供复制功能，复制是将主库的DDL（就是改变结构的语句createtable，droptable等）和DML（数据库操作语句增删改查）操作通过二进制日志传递到复制服务器（从库）上，然后从库对这些日志重新执行（重做），从而使得主库和从库保持数据一致。2.为什么要做主从复制？在业务复杂的系统中，有这么一个情景，有一句sql语句需要锁表，导致暂时不能使用读的服务，那么
Michaelwubo·2024-01-20 20:57

flink.9 水位线

flink为每个分区维持一个水位线,流入该分区的数据流中会附带新的水位线,新的水位线和分区中已经存在的水位线比较,保存最大的那个,因为水位线是递增的.如上图，一个任务会为它的每个分区都维护一个分区水位线
我先森·2024-01-20 19:26

Flink窗口与水位线不得不说的秘密

众所周知，ApacheFlink是一个框架和分布式处理引擎，用于对无界和有界流进行有状态计算。
梧桐生湘云·2024-01-20 19:56

flink 窗口和水位线

我们的flink主要是用来处理无界数据流，一种方式就是将我们的无界数据流切割成有限的“数据块”进行处理，这就是我们的窗口(window)。
秃头小宝贝儿i·2024-01-20 19:56

Flink学习28:水位线

1.前言flink有3种时间，主要是事件时间和处理时间。水位线主要解决，数据乱序到达或者延迟到达的问题2.水位线原理即只有当水位线，越过窗口的结束时间，才会触发窗口计算。
hzp666·2024-01-20 19:25

flink学习记录之水位线

水位线的概念理解及工作原理：watermark是用于处理由于网络、背压等原因产生的乱序事件，窗口结束时间+延迟时间=最大waterMark值，即当waterMark值大于的上述计算出的最大waterMark值，该窗口内的数据就属于迟到的数据，无法参与window计算；代码中生成水位线的时间（即调用assignTimestampsAndWatermarks（WatermarkStrategywate
pasen_newer·2024-01-20 19:25
上一页 26 27 28 29 30 31 32 33 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他