flink高可用

Java技术深度解析：解决消息队列延时、过期失效和积压问题的高效方案

1.1基于Timer的定时调度1.2使用优先级队列2.消息过期失效问题2.1定时清理过期消息2.2使用TTL机制3.大规模积压问题3.1分布式消息队列3.2动态扩容与缩容3.3负载均衡3.4ApacheFlink
喔的 喔的嘛呀·2024-01-07 05:46

RocketMQ详细介绍及核心问题解释（很全）

1.RocketMq是什么一个纯Java、分布式队列模型的消息中间件，具有高可用、高可靠、高实时、低延迟的特点。（记住这句就行了）2.RocketMq有什么功能1、业务解耦：这也是发布订阅的消息模型。
孤蓬&听雨·2024-01-07 05:09

RocketMQ源码分析----Producer队列选择与容错策略

队列选择在HA的文章里大概讲了一下Producer如何为高可用贡献出一份力量的，当时只是说了遍历列表选择队列，然后选择一个，没有深入分析，这篇文章深入分析一下其源码，首先从发送消息选择队列的代码开始：StringlastBrokerName
_六道木·2024-01-07 04:44

Centos 7 部署 OpenStack_Rocky版高可用集群3-2

Centos7部署OpenStack_Rocky版高可用集群3-2文章目录Centos7部署OpenStack_Rocky版高可用集群3-28、部署glance-镜像服务8.1配置MariaDB数据库中的
MappleZF·2024-01-07 04:16

马哥SRE第七周课程作业

1.1体系架构概览1.2进程1.2内存结构1.3数据更新过程二.基于流复制完成postgresql的高可用。
这样的宋哥哥·2024-01-07 04:15

009.《易用为王-改进产品设计的10个策略》的读书笔记（三）-符合人体工程学

符合人体工程学是提高可用性的一种方式。
MrBai_·2024-01-07 03:01

Keepalived 部署及配置

执行脚本检测脑裂解决方案前言keepalived的主要由vrrpstack、checkers、ipvswrapper以及控制组件配置文件分析器，IO复用器，内存管理这些组件组成，其中vrrpstack是用来实现vip的高可用
Gabriel_liao·2024-01-07 00:42

Java版商城：Spring Cloud+SpringBoot b2b2c电子商务平台，多商家入驻、直播带货及免 费 小程序商城搭建

该产品采用了先进的云计算技术，具有高可用性、高扩展性和高安全性等特点，可以满足不同企业的需求。鸿鹄云商SAAS云产品的核心功能包
微服务 spring cloud·2024-01-06 23:39

【Flink精讲】Flink数据延迟处理

面试题：Flink数据延迟怎么处理？
话数Science·2024-01-06 22:01

【Flink精讲】双流Join之Regular Join(即普通Join)

RegularJoin普通Join通过条件关联两条实时数据流：动态表Join动态表支持InnerJoin、LeftJoin、RightJoin、FullJoin。1.InnerJoin(Join)：只有两边数据流都关联上才输出+[L,R]2.LeftJoin(LeftOuterJoin)：只要左流有数据即输出+[L,NULL]，右流数据到达时会产生撤回流-[L,NULL]，并输出+[L,R]3.R
话数Science·2024-01-06 22:30

Flink常见核心概念

分布式缓存有时一些数据是通用的,就需要进行共享,可以放在文件、缓存、db中,可以放在文件中,先缓存到hadoop集群中,然后使用cachepublicclassCacheStream{publicstaticvoidmain(String[]args)throwsException{finalExecutionEnvironmentenv=ExecutionEnvironment.getExecu
一生逍遥一生·2024-01-06 21:56

从零开始入门 K8s | 手把手带你理解 etcd

基于此，etcd被设计为提供高可用、强一致的小型keyvalue数据存储服务。项目当前隶属于CNCF基金会，被AWS、Google、Microsoft、Alibaba等大型互联网公司广泛使用。
cuixiaoyan·2024-01-06 20:15

Redis7.2.3集群安装，新增节点，删除节点，分配哈希槽，常见问题

概念：【Redis】高可用之三：集群（cluster）-知乎实操：Redis集群三种模式主从模式优势：主节点可读可写从节点只能读（从节点从主节点同步数据）缺点：当主节点挂掉时，此时只提供读服务，没有写入能力
Quan7er·2024-01-06 18:48

Redis Cluster高可用(HA)集群环境搭建详细步骤以及SpringBoot连接Redis集群(带密码)

1.为什么要有集群由于Redis主从复制架构每个数据库都要保存整个集群中的所有数据,容易形成木桶效应，所以Redis3.0之后的版本添加特性就是集群(Cluster)2.Redis集群架构说明架构细节:(1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽.(2)节点的fail是通过集群中超过半数的master节点检测失效时才生效.(3)客户端与redi
心多大，路多远·2024-01-06 18:17

Redis的三种集群模式

目录1、主从复制读写分离2、哨兵模式(高可用)3、Cluster模式(高可用、高并发同时支持)1、主从复制读写分离在多个redis实例建立起主从关系，当主redis中的数据发生变化，从redis中的数据也会同步变化
码农_heying·2024-01-06 18:17

Redis-哨兵模式

以下安装步骤基于服务器及IP规划妥当，本安装指南以上文中规划的IP进行安装，操作系统为LinuxRedis高可用->Redis-Sentinel(v2.8)支持高可用分布式->Redis-Cluster
u011411356·2024-01-06 18:17

Eureka工作原理详解

通过阅读本文，您将了解到Eureka如何实现高可用、可扩展的服务注册中心。一、引言在微服务架构中，服务注册与发现是一个重要的环节。
五言六舌·2024-01-06 17:37

聊聊flink的checkpoint配置

序本文主要研究下flink的checkpoint配置实例StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment
go4it·2024-01-06 17:39

高可用分布式部署Spark、完整详细部署教程

前言Spark是UCBerkeleyAMPLab开源的通用分布式并行计算框架。Spark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的mapreduce的算法。spark是基于内存计算框架，计算速度非常
一座野山·2024-01-06 16:15

Spark Streaming的容错性与高可用性

在实时数据处理领域，容错性和高可用性是至关重要的。ApacheSparkStreaming是一个强大的工具，用于实时数据处理和分析，具备卓越的容错性和高可用性。
晓之以理的喵~~·2024-01-06 16:13

springboot整合minio（实现文件的上传和下载超详细入门）

官网：https://www.minio.org.cn/MinIO是一个开源的分布式对象存储服务器，支持S3协议并且可以在多节点上实现数据的高可用和容错。
张乔24·2024-01-06 15:27

flink消费kafka历史数据开窗计算数据丢失问题追踪记录

问题描述最近在开发flink程序时，需要开窗计算人次，在反复测试中发现flink的并行度会影响数据准确性，当kafka的分区数为6时，如果flink的并行度小于6，会有一定程度的数据丢失。
辛友·2024-01-06 13:21

记录flink读取kafka数据时checkpoint配置对offset提交的影响

一、问题描述flink消费kafka数据过程中，结果数据正常输出，但是kafka产生数据堆积二、原因分析flink任务运行中，checkpoint失败导致offset一直未提交，导致kafka数据堆积告警三
:）คิดถึง·2024-01-06 13:20

Flink-SQL实现kafka处理后写入kafka

基本信息kafka版本1.13.2topic原始数据topicuser_behavior输出数据topicafter_binlog读取kafka原始数据CREATETABLEuser_behavior(idBIGINT,nameSTRING,flagSTRING)WITH('connector.type'='kafka',--使用kafkaconnector'connector.version'=
贾斯汀玛尔斯·2024-01-06 13:18

flink加载kafka数据源存储至hbase

1、添加框架依赖implementation'org.apache.flink:flink-java:1.16.0'implementation'org.apache.flink:flink-streaming-java
fengchengwu2012·2024-01-06 12:13

Flink 解析kafka avro格式

Kafka|ApacheFlink详见上面docs文档flink对接kafka的avro格式
cuichunchi·2024-01-06 12:13

flink sql - group by 字段 [不等于] 主键字段导致upset-kafka 多并发 sink to pg表死锁原因分析

flinksql-groupby字段[不等于]主键字段导致写入pg表死锁原因分析1、环境描述1、flink1.13.22、3个并发度[3个taskmanager]，即任务会在三个节点[A、B、C节点]上跑
cg6·2024-01-06 12:43

记 - flink sql upset-kafka sink 数据乱序排查与解决思路【业务数据任意修改】

记-flinksqlupset-kafkasink数据乱序排查与解决思路数据乱序现状[leftjoin]数据乱序原因分析与解决乱序sql如下sql执行计划图业务操作kafka乱序数据原因分析解决验证补充多表
cg6·2024-01-06 12:43

Flink ＜--＞Kafka的使用介绍+with参数

用户可以把流数据导入到Kafka的某个Topic中，通过Flink算子进行处理后，输出到相同或不同Kafka示例的另一个Topic。
Samooyou·2024-01-06 12:12

使用flink的sql-client.sh，测试mysql--＞kafka--＞kafka--＞mysql实时流

目录1.环境介绍2.mysql建表3.flinksql建表3.1进入flinksql客户端3.2配置输出格式3.3flink建表3.4任务流配置4.测试4.1插入测试数据4.2查看结果表数据4.3新增测试数据
易逝的年华·2024-01-06 12:12

为什么我的flink upsert-kafka 没有数据输出

测试代码packagecom.yy.state.OperatorStateTTLimportorg.apache.flink.configuration.
Thomas2143·2024-01-06 12:39

oracle23c安装部署centos8.3

该版本具有许多增强功能，可为开发人员提供强大支持，并简化AI技术在以提供超高的高可用性、性能和安全性而闻名的数据库中的使用。此外，新版本还增强了Ora
betazhou·2024-01-06 10:06

docker consul 环境搭建

和etcd类似，consul也是一个高可用的分布式kv系统，并且提供了比etcd更丰富的功能，自带ui界面consul有客服端模式（client）和服务端模式（server），在实际的部署中会在每个客户端机器上部署一个本地
hatlonely·2024-01-06 10:56

HDFS的高可用性

HDFS的高可用性联邦hdfs由于namenode在内存中维护系统中的文件和数据块的映射信息，所以对于一个海量文件的集群来说，内存将成为系统横向扩展瓶颈。
zh_harry·2024-01-06 10:25

分布式数据中心网络互联技术实现

通过虚拟机动态迁移技术（如VMware的vMotion）可实现数据中心间的计算资源动态调配，通过服务器高可用集群技术可实现数据中心间应用级容灾，这两种应用场景统称为“分布式数据中心（DistributedDataCenter
Linux服务器开发·2024-01-06 10:52

云计算历年题整理

第一大题第一大题计算给出计算连接到EC2节点的EBS的高可用性(HA)的数学公式，如场景中所述；计算EC2节点上的EBS的高可用性(HA)；场景中80%的AWSEC2节点用于并行处理，总共有100个虚拟中央处理单元
bunny playing games·2024-01-06 09:36

RPC学习——入门体验

文章目录前言站长巨人的肩膀上RPC学习——原理图code前言看了flink-rpc之后，感觉rpc框架真的是太强大了，比如netty、akka，之前基于akka写过一个能够处理千万级实时数据量的处理系统
京河小蚁·2024-01-06 09:30

第四周学习总结

大型的互联网应用被越来越多的人使用，只要面临着如下的挑战：用户多，分布广，在网络全球化的今天，大型的互联网应用需要为全球的用户提供服务，用户分布范围广；要解决大量用户同时在线的高并发问题；更严峻的存储挑战，需要存储用户的大量数据；高可用的挑战
magicflute01·2024-01-06 09:06

SQL Server 2008索引使用技巧

该主题基于KimberlyTripp和PaulRandall（这两位是SQLServer高可用性和性能方面的专家）的建议。
kuangxiang_panpan·2024-01-06 09:25

Flink详述双流 Join 3 种解决方案 + 2 种优化方案

1.前言这一期的面试题主要是介绍Flink面试中的高频面试题，Flink流Join相关内容，相信大家在面试中遇到的太多了，本节包含的主要内容如下：Join的应用场景为什么流式计算中提到Join小伙伴萌就怕呢
pekingK·2024-01-06 08:42

kafka 增量快照的使用

由于RocksDB内部存在compaction机制对sst文件进行合并，Flink的增量快照也会定期重新设立起点（rebase），因此增量链条不会一直增长，旧快照包含的文件也会逐渐过期并被自动清理。
pekingK·2024-01-06 08:12

kylin深度优化

任务引擎高可用从v2.0开始,Kylin支持多个任务引擎一起运行，相比于默认单任务引擎的配置，多引擎可以保证任务构建的高可用。使用多任务引擎，你可以在多个Kylin节点上配置它的角色为job或all。
pekingK·2024-01-06 08:41

etcd基本介绍

etcd基本介绍ETCD是SoreOs公司发布的一个分布式的、高可用的、key-value存储的数据库。基于Go语言实现，k8s中也使用了ETCD作为数据库。主要用于共享配置和服务发现。
奥特卤蛋.·2024-01-06 08:29

Apache Paimon:Streaming Lakehouse is Coming

摘要：本文整理自阿里云智能开源表存储负责人，FounderofPaimon，FlinkPMC成员李劲松（花名：之信）、同程旅行大数据专家，ApacheHudi&PaimonContributor吴祥平、
Apache Flink·2024-01-06 08:15

高可用MySQL

一、什么是高可用“高可用性”（HighAvailability）通常来描述一个系统经过专门的设计，从而减少停工时间，而保持其服务的高度可用性。
老李_9134·2024-01-06 07:07

Java版商城：Spring Cloud+SpringBoot b2b2c电子商务平台，多商家入驻、直播带货及免 费 小程序商城搭建

该产品采用了先进的云计算技术，具有高可用性、高扩展性和高安全性等特点，可以满足不同企业的需求。鸿鹄云商SAAS云产品的核心功能包
微服务商城技术分享·2024-01-06 07:55

Kubernetes（K8s）命令大全

通过Kubernetes，您可以轻松地管理容器化应用，实现高可用性、弹性伸缩以及简化的部署和维护。以下是一份Kubernetes常用命令的大全，以便您更好地理解和操作K8s集群。
yule.yang·2024-01-06 06:33

分布式数据之复制（Replication）

容错、高可用，在分布式系统中，单机故障是常态，在单机故障下仍然希望系统能够正常工作，这时候就需要数据在多台机器上做冗余，在遇到单机故障时其他机器就可以及时接管。统一的用户体验，如果系
努力学习的小飞侠·2024-01-06 06:14

2020-10-24Apache Flink未授权访问-远程代码命令执行-复现

ApacheFlink未授权访问-远程代码命令执行-复现一、漏洞简介ApacheFlinkDashboard默认没有用户权限认证。
thelostworldSec·2024-01-06 06:32

StreamPark 在顺网科技的生产实践, 如何支撑大规模 Flink 作业

导读：本文主要介绍顺网科技在使用Flink计算引擎中遇到的一些挑战，基于StreamPark作为实时数据平台如何来解决这些问题，从而大规模支持公司的业务。
Apache StreamPark·2024-01-06 05:18
上一页 39 40 41 42 43 44 45 46 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他