flink高可用

Flink CDC介绍及原理

CDC(ChangeDataCapture)是一种用于捕捉数据库变更数据的技术，Flink从1.11版本开始原生支持CDC数据（changelog）的处理，目前已经是非常成熟的变更数据处理方案。
大大大大肉包·2023-12-27 16:49

深入解析 Flink CDC 增量快照读取机制

一、Flink-CDC1.x痛点FlinkCDC1.x使用Debezium引擎集成来实现数据采集，支持全量加增量模式，确保数据的一致性。
Light Gao·2023-12-27 16:47

Flink实时电商数仓之Doris框架（七）

Doris框架大规模并行处理的分析型数据库产品。使用场景：一般先将原始数据经过清洗过滤转换后，再导入doris中使用。主要实现的功能有：实时看板面向企业内部分析师和管理者的报表面向用户或者客户的高并发报表分析即席查询统一数仓构建：替换了原来由Spark,Hive，Kudu,Hbase等旧框架数据湖联邦查询：通过外表的方式联邦分析位于Hive，IceBerg,Hudi中的数据Doris架构后端：C语
十七✧ᐦ̤·2023-12-27 16:47

关于MySQL、分布式系统、SpringCloud面试题

性能优化分库分表常用库：mycat、shardingsphereSharding策略哈希取模范围：时间范围、ID范围增加映射表高性能、高可用什么时候
微风至夏·2023-12-27 16:36

延迟队列商业版RocketMQ和Pulsar的对比

商业版RocketMQ和Pulsar的基本对比二、核心差异三、使用倾向三、RocketMQ使用注意问题一、商业版RocketMQ和Pulsar的基本对比系统实现原理使用限制成本业务支持及使用监控报警容灾高可用自动扩缩容
瞎胡侃·2023-12-27 15:57

ElasticSearch的RestClient结合Sniffer提高可用性

一、背景由于要安装分词器插件，所以需要重启ElasticSearch集群以使得新安装的插件生效但是在重启集群的过程中，服务端代码却出现了大量错误，如下所示java.net.ConnectException:Connectionrefused  atorg.elasticsearch.client.RestClient.extractAndWrapCause(RestClient.java:823)
瞎胡侃·2023-12-27 15:56

架构设计内容分享(三十)：架构之高可用：负载均衡，容灾备份，故障转移

目录负载均衡简介负载均衡原理负载均衡分类常见负载均衡服务器常见的负载均衡算法什么是容灾和备份？容灾备份的解决方案故障转移和恢复负载均衡简介面对大量用户访问、高并发请求，海量数据，可以使用高性能的服务器、大型数据库，存储设备，高性能Web服务器，采用高效率的编程语言比如(Go,Scala)等，当单机容量达到极限时，我们需要考虑业务拆分和分布式部署，来解决大型网站访问量大，并发量高，海量数据的问题。从
之乎者也··2023-12-27 14:20

Flink 输出至 Redis

【1】引入第三方Bahir提供的Flink-redis相关依赖包org.apache.bahirflink-connector-redis_2.111.0【2】Flink连接Redis并输出Sink处理结果
程序猿进阶·2023-12-27 14:16

HBase基础知识（七）：HBase 性能优化示例全解

1.高可用在HBase中HMaster负责监控HRegionServer的生命周期，均衡RegionServer的负载，如果HMaster挂掉了，那么整个HBase集群将陷入不健康的状态，并且此时的工作状态并不会维持太久
依晴无旧·2023-12-27 14:46

Flink CDC 原理、实践和优化

本文基于腾讯云Oceanus提供的FlinkCDC引擎，着重介绍Flink在变更数据捕获技术中的应用。一、CDC是什么？
坨坨的大数据·2023-12-27 14:33

【ETCD：分布式一致性算法 Raft】

所有节点都是Follower阶段2：Follower转换为Candidate并发起投票阶段3：投票策略阶段4：Candidate转为Leader日志复制（LogReplication）简单介绍Etcd是一个高可用
你有按下913的勇气吗·2023-12-27 14:25

helm部署redis高可用集群

文章目录1.添加helm源2.下载最新版的redis的charts3.解压并备份values文件4.修改values文件5.部署到k8s集群中6.验证7.模拟冗灾8.使用1.添加helm源helmrepoaddbitnamihttps://charts.bitnami.com/bitnami2.下载最新版的redis的chartshelmsearchreporedishelmfetchbitnam
最美dee时光·2023-12-27 11:03

【微服务面试题（三十三道）】

9.EurekaServer怎么保证高可用？配置中心10.
唯时·2023-12-27 11:02

Java版直播商城免 费 搭 建：电商、小程序、三级分销及免 费 搭 建，平台规划与营销策略全掌握

该产品采用了先进的云计算技术，具有高可用性、高扩展性和高安全性等特点，可以满足不同企业的需求。鸿鹄云商SAAS云产品的核心功能包
微服务技术分享·2023-12-27 10:16

Flink on K8S集群搭建及StreamPark平台安装

1.环境准备1.1介绍在使用Flink&Spark时发现从编程模型,启动配置到运维管理都有很多可以抽象共用的地方,目前streampark提供了一个flink一站式的流处理作业开发管理平台,从流处理作业开发到上线全生命周期都做了支持
tuoluzhe8521·2023-12-27 10:45

FlinkCDC从Mongodb同步数据至elasticsearch（ES) 新版

FlinkCDC从Mongodb同步数据至elasticsearch（ES）一、DataStreamingAPI方式pom.xml二、主程序-配置三、主程序四、其他问题一、DataStreamingAPI
tuoluzhe8521·2023-12-27 10:14

datax 同步mongodb数据库到hive(hdfs)和elasticserch（es)

（有点老了，后来发现flinkcdc都只能监控一张表，多张表无法监控）2.datax版本：自己编译的DataX-datax_v2022103.hdfs版本：3.1.34.hive版本：3.1.2二、同步思路
tuoluzhe8521·2023-12-27 10:14

将Gitlab迁移到内网Proxmox VE

在一台服役超过15年得高龄服务器上，运行了一套Gitlab11.0，因为使用的人比较少，访问不频繁，未将其加入到高可用集群平台。
4/5$全真龙门·2023-12-27 10:33

五分钟，Docker安装flink，并使用flinksql消费kafka数据

1、拉取flink镜像，创建网络dockerpullflinkdockernetworkcreateflink-network2、创建jobmanager#创建JobManagerdockerrun\-
刘金宝_Arvin·2023-12-27 10:52

redis的搭建及应用(三)-Redis主从配置

Redis主从配置为提升Redis的高可用性，需要搭建多个Redis集群以保证高可用性。常见搭建方式有：主从，哨兵集群等，本节我们搭建一主二从的多Redis架构。
自信人间三百年·2023-12-27 08:55

Zookeeper(四)—应用场景

前言ZooKeeper是一个高可用的分布式数据管理不系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得ZooKeeper解决很多分布式问题。
敲代码的小小酥·2023-12-27 07:03

删除azkaban的执行历史

azkaban通常用在大数据任务调度场景，把任务提交之后，如果任务是spark，hive，hadoop，flink等任务的话，
飞有飞言·2023-12-27 07:09

SpringCloud微服务实战——搭建企业级开发框架（十三）：OpenFeign+Ribbon实现高可用重试机制

在SpringCloud体系项目中，引入的重试机制保证了高可用的同时，也会带来一些其它的问题，如
全栈程序猿·2023-12-27 07:31

Kafka的分区数设置

在Kafka中，分区是实现消息并行处理和提供高可用性的关键概念之一。本文将详细介绍如何设置Kafka的分区数，并提供相应的源代码示例。
WdzDevops·2023-12-27 07:52

Flink去重计数统计用户数

1.数据订单表，分别是店铺id、用户id和支付金额"店铺id,用户id,支付金额","shop-1,user-1,1","shop-1,user-2,1","shop-1,user-2,1","shop-1,user-3,1","shop-1,user-3,1","shop-1,user-1,1","shop-1,user-2,1","shop-1,user-4,1","shop-2,user-4
不爱吃鱼的馋猫·2023-12-27 06:28

8.架构设计系列：常用设计模式的实践

架构设计系列文章架构设计系列：什么是架构设计架构设计系列：几个常用的架构设计原则架构设计系列：高并发系统的设计目标架构设计系列：如何设计可扩展架构架构设计系列：如何设计高性能架构架构设计系列：如何设计高可用架构架构设计系列
白云coy·2023-12-27 05:22

浅析微服务注册中心的注册与发现

浅析微服务注册中心的注册与发现注册中心是用来集中管理微服务，实现服务的注册，发现，检查等功能，目前比较成熟的注册中心组件有很多，如Consul，eureka，zookeeper，etcd，nacos，不同组件之间性能，并发，高可用都会有差距
魏春雨·2023-12-27 05:24

【大数据HA】HAProxy实现thrift协议HMS服务的高可用-附Chatgpt协助截图

背景之前安装了HMS(Hivemetastoreservice)，独立于hive运行，安装部署过程见我下面列出的另一篇文章，需要为它建立HA高可用功能。防止在访问时出现单点故障问题。
秦拿希·2023-12-27 05:08

Java版直播商城免 费 搭 建：电商、小程序、三级分销及免 费 搭 建，平台规划与营销策略全掌握

该产品采用了先进的云计算技术，具有高可用性、高扩展性和高安全性等特点，可以满足不同企业的需求。鸿鹄云商SAAS云产品的核心功能包
m0_68459853·2023-12-27 03:40

Flink-1.17集群部署

1、部署1.1、修改flink-conf.yaml1.1.1、flink-17jobmanager.rpc.address:boshi-122jobmanager.rpc.port:6123#设置jobmanager
docsz·2023-12-27 03:05

初次选购阿里云服务器教程（实例规格、网络规划、成本估算等）

所以，小编今天就带大家来深入学习新手选购阿里云服务器的一些教程，包含实例规格的选择网络的规划、成本的估算、配置安全组、自动快照策略的制定、镜像迁移、负载均衡与高可用性等。
qq__3304559116·2023-12-27 00:48

Flink1.13 Checkpoint原理

介绍Flink具体如何保证exactly-once呢?它使用一种被称为"检查点"（checkpoint）的特性，在出现故障时将系统重置回正确状态。下面通过简单的类比来解释检查点的作用。
万事万物·2023-12-26 20:23

从零开始学Flume：这个大数据框架学习网站让你快速上手！

介绍：Flume是一个分布式、高可用、高可靠的海量日志采集、聚合和传输的系统，最初Flume是一个分布式、高可用、高可靠的海量日志采集、聚合和传输的系统，最初由Cloudera开发并现在广泛应用于数据采集流式处理
知识分享小能手·2023-12-26 20:42

优维产品最佳实践第20期：控制台全链路监控

之前我们会觉得cmdb自动发现没有上报很难排查，弄不清楚数据的上报链路；监控指标的数据断点很难定位，flink对现场来说是一个黑盒子；apm数据更新不及时到底是上报异常还是入库失败呢？
优维科技EasyOps·2023-12-26 18:53

Flink实战案例四部曲

Flink实战案例四部曲第一部曲:统计5分钟内用户修改创建删除文件的操作日志数量输入1001,delete1002,update1001,create1002,delte输出1001，21002，2代码如下
play_big_knife·2023-12-26 18:51

【Flink-Kafka-To-Mongo】使用 Flink 实现 Kafka 数据写入 Mongo（根据对应操作类型进行增、删、改操作，写入时对时间类型字段进行单独处理）

【Flink-Kafka-To-Mongo】使用Flink实现Kafka数据写入Mongo（根据对应操作类型进行增、删、改操作）1）导入依赖2）resources2.1.appconfig.yml2.2
bmyyyyyy·2023-12-26 17:15

【Flink-Kafka-To-Mysql】使用 Flink 实现 Kafka 数据写入 Mysql（根据对应操作类型进行增、删、改操作）

【Flink-Kafka-To-Mysql】使用Flink实现Kafka数据写入Mysql（根据对应操作类型进行增、删、改操作）1）导入依赖2）resources2.1.appconfig.yml2.2
bmyyyyyy·2023-12-26 17:08

dinky1.0 同步PG 时 修改数据类型

flinkcdc在同步decimal类型数据的时候精度不允许超过38,所以修改为精度超过38就修改为string类型AbstractSinkBuilder.java第237行StringcdcSqlInsert
州周·2023-12-26 17:56

dinky 本地编译并启动

1.1下载源码包后，解压进入idea设置profiles，dev,flink
州周·2023-12-26 17:26

ETL 数据抽取有哪些常见的应用场景？

1、数据仓库建设，从基础差到数据集市到主题库2、数据迁移，信息系统切换新机器是需要3、数据整合，将多个数据来源整合到一个数据库中4、数据同步，为了保证信息系统的高可用或基于安全考虑，进行数据同步
王永翔·2023-12-26 15:21

Flink的waterMark实现解决乱序以及延迟数据

1、watermark的作用watermark是用于处理乱序事件的，而正确的处理乱序事件，通常用watermark机制结合window来实现。我们知道，流处理从事件产生，到流经source，再到operator，中间是有一个过程和时间的。虽然大部分情况下，流到operator的数据都是按照事件产生的时间顺序来的，但是也不排除由于网络、背压等原因，导致乱序的产生（out-of-order或者说lat
我还不够强·2023-12-26 15:30

Flink SQL Create 语法

主要引用官方文档https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/dev/table/sql/createCREATE语句用于注册表
Alex90·2023-12-26 13:32

k8s多节点master部署

节点上拷贝证书文件、配置文件和服务管理文件到master02修改配置文件kube-apiserver中的IP在master02节点上启动各服务并设置开机自启查看node节点状态负载均衡部署+keepalived高可用
xinheng233·2023-12-26 12:29

【flink番外篇】7、flink的State（Keyed State和operator state）介绍及示例（2） - operator state

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan·2023-12-26 11:04

【flink番外篇】7、flink的State（Keyed State和operator state）介绍及示例 - 完整版

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan·2023-12-26 11:34

【flink番外篇】7、flink的State（Keyed State和operator state）介绍及示例（1） - Keyed State

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan·2023-12-26 11:04

【flink番外篇】8、flink的Checkpoint容错机制（配置、重启策略、手动恢复）介绍及示例（1） - checkpoint配置及实现

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。
一瓢一瓢的饮 alanchan·2023-12-26 11:30

zookeeper 面试

是一个开源的分布式协调服务，它提供了一个具有高可用性和一致性的分布式环境，用于协调和管理分布式系统中的各种数据和状态。2zookeeper都有哪些功能？
shumeigang·2023-12-26 10:28

keepalived高可用 | 部署Ceph分布式存储

keepalived高可用|部署Ceph分布式存储keepalived高可用1.配置第二台haproxy代理服务器部署HAProxy2.为两台代理服务器配置keepalived配置第一台代理服务器proxy
桑_榆·2023-12-26 10:16

Iceberg1.4.2 java 表管理（DDL和DML）操作

既然是一种开放的表管理格式，那就不应该依赖hadoop，hive，spark，flink
smileyboy2009·2023-12-26 10:26
上一页 48 49 50 51 52 53 54 55 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他