高可用集群架构篇第2页

Mysql5.7高可用集群MHA搭建+shell脚本监测切换Manager节点解决单点故障问题

文章目录前言一、各服务器之间实现免密登录1.添加各服务器间hosts指向2.四台服务器中分别生成密钥文件二、3台数据库节点安装Mysql服务三、启动mysql主从集群四、安装MHA五、Manage工具测试五、Shell脚本监测Manager节点解决单点故障问题六、数据库集群的故障测试及切换测试总结前言MHA（MasterHighAvailability）目前在MySQL高可用方面是一个相对成熟的解

seaskyccl·2024-01-29 10:39

干货 | Java后端面试题精选汇总—架构篇

id全局唯一且自增，如何实现？Redis的incr和increby自增原子命令统一数据库的id发放美团LeafLeaf——美团点评分布式ID生成系统（批发号段）Twitter的snowflake算法UUID★如何设计算法压缩一段URL？通过发号策略，给每一个过来的长地址，发一个号即可，小型系统直接用mysql的自增索引就搞定了。如果是大型应用，可以考虑各种分布式key-value系统做发号器。不停

小高程序员儿·2024-01-29 03:14

架构篇28：业务高可用的保障-异地多活架构

文章目录应用场景架构模式小结无论是高可用计算架构，还是高可用存储架构，其本质的设计目的都是为了解决部分服务器故障的场景下，如何保证系统能够继续提供服务。但在一些极端场景下，有可能所有服务器都出现故障。例如，典型的有机房断电、机房火灾、地震、水灾……这些极端情况会导致某个系统所有服务器都故障，或者业务整体瘫痪，而且即使有其他地区的备份，把备份业务系统全部恢复到能够正常提供业务，花费的时间也比较长，可

星猿杂谈·2024-01-28 17:40

Spring Cloud快速开发入门第三篇---搭建高可用Eureka注册中心

了解前二篇文章内容有助于更好的理解本文：SpringCloud快速开发入门第一篇---SpringCloud前言及其常用组件介绍概览SpringCloud快速开发入门第二篇---使用并认识Eureka注册中心一、Eureka注册中心高可用集群概述在微服务架构的这种分布式系统中

生出来，我养！·2024-01-27 13:07

03-Redis缓存高可用集群

文章目录1、Redis集群方案比较2、Redis高可用集群搭建redis集群搭建Java操作redis集群4、Redis集群原理分析槽位定位算法跳转重定位Redis集群节点间的通信机制gossip通信的

野心与梦·2024-01-27 08:39

架构篇27：如何设计计算高可用架构？

文章目录主备主从集群小结计算高可用的主要设计目标是：当出现部分硬件损坏时，计算任务能够继续正常运行。因此计算高可用的本质是通过冗余来规避部分故障的风险，单台服务器是无论如何都达不到这个目标的。所以计算高可用的设计思想很简单：通过增加更多服务器来达到计算高可用。计算高可用架构的设计复杂度主要体现在任务管理方面，即当任务在某台服务器上执行失败后，如何将任务重新分配到新的服务器进行执行。因此，计算高可用

星猿杂谈·2024-01-27 08:35

架构篇10：架构设计流程-识别复杂度

文章目录架构设计第1步：识别复杂度识别复杂度实战识别复杂度心得小结从今天开始，我们分4期，结合复杂度来源和架构设计原则，通过一个模拟的设计场景“前浪微博”，一起看看在实践中究竟如何进行架构设计。今天先来看架构设计流程第1步：识别复杂度。架构设计第1步：识别复杂度我在前面讲过，架构设计的本质目的是为了解决软件系统的复杂性，所以在我们设计架构时，首先就要分析系统的复杂性。只有正确分析出了系统的复杂性，

星猿杂谈·2024-01-27 01:40

架构篇12：架构设计流程-评估和选择备选方案

文章目录架构设计第3步：评估和选择备选方案评估和选择备选方案实战小结上一篇我们聊了设计备选方案，在完成备选方案设计后，如何挑选出最终的方案也是一个很大的挑战，主要原因有：每个方案都是可行的，如果方案不可行就根本不应该作为备选方案。没有哪个方案是完美的。例如，A方案有性能的缺点，B方案有成本的缺点，C方案有新技术不成熟的风险。评价标准主观性比较强，比如设计师说A方案比B方案复杂，但另外一个设计师可能

星猿杂谈·2024-01-26 21:55

手把手超详细Docker部署MongoDB集群

今天介绍副本集的方式搭建mongodb高可用集群简介以及概述首先我们先来了解一下Mongo集群的概念，Mongo集群有3

YellowKang·2024-01-26 18:04

Linux高可用集群搭建

1.准备两个部署好项目的服务器这里采用VM+CentOS7进行虚拟机搭建，为了避免重复搭建的繁琐，创建好第一个虚拟机并搭建好环境后，第二个使用克隆右键虚拟机-》管理-》克隆选择好安装路径确定即可完成clone克隆完成后打开两个虚拟机，可使用命名来修改主机名hostnamectlset-hostname主机名两个虚拟机分别安装keepalived,具体步骤如下安装keepalivedyuminsta

顾十方·2024-01-26 09:03

架构篇25：高可用存储架构-双机架构

文章目录主备复制主从复制双机切换主主复制小结存储高可用方案的本质都是通过将数据复制到多个存储设备，通过数据冗余的方式来实现高可用，其复杂性主要体现在如何应对复制延迟和中断导致的数据不一致问题。因此，对任何一个高可用存储方案，我们需要从以下几个方面去进行思考和分析：数据如何复制？各个节点的职责是什么？如何应对复制延迟？如何应对复制中断？常见的高可用存储架构有主备、主从、主主、集群、分区，每一种又可以

星猿杂谈·2024-01-26 07:50

Flink1.13集成Hadoop3.x以上版本

文章目录背景说明出现问题问题分析问题解决解决展示参考资料背景说明在搭建Flink的HA高可用集群后，打不开webUI界面出现问题打开log日志查看org.apache.flink.core.fs.UnsupportedFileSystemSchemeException

未来影子·2024-01-26 04:22

读过的书单

读万卷书行万里路2017-今天读过的书单写出来给大家参考下工欲善其事,必先利其器我是一个php程序员鸟哥的linux私房菜基础篇服务器架构篇日本结城浩著程序员的数学1程序员的数学2概率统计程序员的数学3

竭尽全力才能成功·2024-01-26 03:27

作业-第05周--课堂-Day22-磁盘管理 -Ⅲ

6T，已经装了系统了，额外添加4块2T盘现有一个做了RAID5的硬盘，要求分三个区，硬盘总分区大小：6.2T/data04.8T/data11T4G（无需格式化，作DRBD+Hearbeat+MySQL高可用集群

MineG·2024-01-25 16:21

架构篇24：排除架构可用性隐患的利器-FMEA方法

文章目录FMEA介绍FMEA方法FMEA实战小结前面的专栏分析高可用复杂度的时候提出了一个问题：高可用和高性能哪个更复杂，根据墨菲定律“可能出错的事情最终都会出错”，架构隐患总有一天会导致系统故障。因此，我们在进行架构设计的时候必须全面分析系统的可用性，那么如何才能做到“全面”呢？我今天介绍的FMEA方法，就是保证我们做到全面分析的一个非常简单但是非常有效的方法。FMEA介绍FMEA（Failur

星猿杂谈·2024-01-25 14:55

架构篇19：单服务器高性能模式-Reactor与Proactor

文章目录ReactorProactor小结上篇介绍了单服务器高性能的PPC和TPC模式，它们的优点是实现简单，缺点是都无法支撑高并发的场景，尤其是互联网发展到现在，各种海量用户业务的出现，PPC和TPC完全无能为力。今天我将介绍可以应对高并发场景的单服务器高性能架构模式：Reactor和Proactor。ReactorPPC模式最主要的问题就是每个连接都要创建进程（为了描述简洁，这里只以PPC和进

星猿杂谈·2024-01-25 13:41

架构篇21：高性能负载均衡-算法

文章目录轮询加权轮询负载最低优先性能最优类Hash类源地址HashIDHash小结负载均衡算法数量较多，而且可以根据一些业务特性进行定制开发，抛开细节上的差异，根据算法期望达到的目的，大体上可以分为下面几类。任务平分类：负载均衡系统将收到的任务平均分配给服务器进行处理，这里的“平均”可以是绝对数量的平均，也可以是比例或者权重上的平均。负载均衡类：负载均衡系统根据服务器的负载来进行分配，这里的负载并

星猿杂谈·2024-01-25 09:13

架构篇20：高性能负载均衡-分类及架构

文章目录负载均衡分类1.DNS负载均衡2.硬件负载均衡3.软件负载均衡负载均衡典型架构小结单服务器无论如何优化，无论采用多好的硬件，总会有一个性能天花板，当单服务器的性能无法满足业务需求时，就需要设计高性能集群来提升系统整体的处理性能。高性能集群的本质很简单，通过增加更多的服务器来提升系统整体的计算能力。由于计算本身存在一个特点：同样的输入数据和逻辑，无论在哪台服务器上执行，都应该得到相同的输出。

星猿杂谈·2024-01-25 08:01

ES集群分片数据的高可用

文章目录ES集群分片数据的高可用1.集群设置索引节点2.集群新增文档数据3.查看集群中文档数据分片节点4.让节点9201宕机，查看其分片变化5.让节点9201，查看分片变化ES集群分片数据的高可用集群中的索引主分片和副分片在不同的计算机上

stormkai·2024-01-25 06:12

Oracle、MySQL数据库常规命令语法-简易记录（非常规持续更新）

呈现的是非常基础必备命令以及常规关联语法，因涉及到不同数据库其表达都会有所区别，此篇纯属做个仓库记录更非常规持续更新，专业人士可忽略，且看且珍惜…MySQL:关系型数据库、重点开源、支持大型规模、标准SQL数据语言、多平台多架构、高可用集群

蚊子不吸吸·2024-01-25 05:09

架构篇14：高性能数据库集群-读写分离

文章目录读写分离原理复制延迟分配机制小结高性能数据库集群的第一种方式是“读写分离”，其本质是将访问压力分散到集群中的多个节点，但是没有分散存储压力；第二种方式是“分库分表”，既可以分散访问压力，又可以分散存储压力。先来看看“读写分离”，下一篇我们再介绍“分库分表”。读写分离原理读写分离的基本原理是将数据库读写操作分散到不同的节点上，下面是其基本架构图。读写分离的基本实现是：数据库服务器搭建主从集群

星猿杂谈·2024-01-24 22:05

Kafka高可用集群安装

开始安装配置Kafaka1.编辑server.properties文件#############################ServerBasics##############################Theidofthebroker.Thismustbesettoauniqueintegerforeachbroker.broker.id=1#######################

NikolasNull·2024-01-24 19:05

架构篇15：高性能数据库集群-分库分表

文章目录业务分库分表实现方法小结上篇我们讲了“读写分离”，读写分离分散了数据库读写操作的压力，但没有分散存储压力，当数据量达到千万甚至上亿条的时候，单台数据库服务器的存储能力会成为系统的瓶颈，主要体现在这几个方面：数据量太大，读写的性能会下降，即使有索引，索引也会变得很大，性能同样会下降。数据文件会变得很大，数据库备份和恢复需要耗费很长时间。数据文件越大，极端情况下丢失数据的风险越高（例如，机房火

星猿杂谈·2024-01-24 18:01

架构篇16：高性能NoSQL

文章目录K-V存储文档数据库列式数据库全文搜索引擎小结关系数据库经过几十年的发展后已经非常成熟，强大的SQL功能和ACID的属性，使得关系数据库广泛应用于各式各样的系统中，但这并不意味着关系数据库是完美的，关系数据库存在如下缺点。关系数据库存储的是行记录，无法存储数据结构以微博的关注关系为例，“我关注的人”是一个用户ID列表，使用关系数据库存储只能将列表拆成多行，然后再查询出来组装，无法直接存储一

星猿杂谈·2024-01-24 14:45

架构篇18：单服务器高性能模式-PPC与TPC

文章目录PPCpreforkTPCprethread小结高性能是每个程序员的追求，无论我们是做一个系统还是写一行代码，都希望能够达到高性能的效果，而高性能又是最复杂的一环，磁盘、操作系统、CPU、内存、缓存、网络、编程语言、架构等，每个都有可能影响系统达到高性能，一行不恰当的debug日志，就可能将服务器的性能从TPS30000降低到8000；一个tcp_nodelay参数，就可能将响应时间从2毫

星猿杂谈·2024-01-24 10:59

kubeadm部署k8s1.27.2版本高可用集群(外部etcd集群带TLS认证）

文章目录环境软件版本服务器系统初始化etcd证书生成etcd集群部署负载均衡器部署部署k8s集群部署网络组件FAQ环境控制平面节点主机的配置最少是2C2G,否则kubeadminit的时候会报错主机名IP组件系统os128192.168.177.128etcd、kube-apiserver、kube-controller-manager、kube-scheduler、kubelet、kube-pr

那些、快乐。·2024-01-24 10:22

架构篇17：高性能缓存架构

文章目录缓存穿透缓存雪崩缓存热点实现方式小结虽然我们可以通过各种手段来提升存储系统的性能，但在某些复杂的业务场景下，单纯依靠存储系统的性能提升不够的，典型的场景有：需要经过复杂运算后得出的数据，存储系统无能为力例如，一个论坛需要在首页展示当前有多少用户同时在线，如果使用MySQL来存储当前用户状态，则每次获取这个总数都要“count(*)”大量数据，这样的操作无论怎么优化MySQL，性能都不会太高

星猿杂谈·2024-01-24 09:33

架构篇08：架构设计三原则

文章目录合适原则简单原则演化原则小结成为架构师是每个程序员的梦想，但并不意味着把编程做好就能够自然而然地成为一个架构师，优秀程序员和架构师之间还有一个明显的鸿沟需要跨越，这个鸿沟就是“不确定性”。对于编程来说，本质上是不能存在不确定的，对于同样一段代码，不管是谁写的，不管什么时候执行，执行的结果应该都是确定的（注意：“确定的”并不等于“正确的”，有bug也是确定的）。而对于架构设计来说，本质上是不

星猿杂谈·2024-01-23 21:04

架构篇13：架构设计流程-详细方案设计

文章目录架构设计第4步：详细方案设计详细方案设计实战小结完成备选方案的设计和选择后，我们终于可以长出一口气，因为整个架构设计最难的一步已经完成了，但整体方案尚未完成，架构师还需继续努力。接下来我们需要再接再励，将最终确定的备选方案进行细化，使得备选方案变成一个可以落地的设计方案。所以今天我来讲讲架构设计流程第4步：详细方案设计。架构设计第4步：详细方案设计简单来说，详细方案设计就是将方案涉及的关键

星猿杂谈·2024-01-23 13:01

Keepalived+Nginx实现双机主备、双主热备高可用集群架构（待完善）

使用两台本地虚拟机，实现Keepalived+Nginx实现双机主备、双主热备高可用集群架构前言本文根据B站up的教学视频以及参考相应博文实现。

猫咪很懒·2024-01-23 08:51

k8s1.27.2版本二进制高可用集群部署

文章目录环境软件版本服务器系统初始化设置关于etcd签名证书etcd集群部署负载均衡器组件安装设置关于k8s自签证书自签CAkube-apiserver自签证书kube-controller-manager自签证书kube-scheduler自签证书kube-proxy自签证书admin自签证书控制平面节点组件部署**部署kube-apiserver****部署kube-controller-ma

那些、快乐。·2024-01-22 21:43

架构篇09:架构设计原则案例

文章目录淘宝案例手机QQ案例小结我们先复习一下架构设计的三条核心原则：合适原则、简单原则和演化原则。我们在架构设计实践中，应该时刻谨记这三条设计原则，指导我们设计出合适的架构，即使是代表中国互联网技术最顶尖水平的BAT，其架构的发展历程也同样遵循这三条原则。今天就以大家耳熟能详的淘宝和手机QQ作为案例，来简单探讨一下。淘宝案例注：以下部分内容摘自《淘宝技术发展》。淘宝技术发展主要经历了：个人网站→

星猿杂谈·2024-01-22 11:40

部署Zabbix代理服务器，部署 Zabbix 高可用集群

目录分布式监控的作用：部署zabbix代理服务器设置zabbix的下载源，安装zabbix-proxy部署数据库，要求MySQL5.7或Mariadb10.5及以上版本初始化数据库创建数据库并指定字符集创建zabbix数据库用户并授权导入数据库信息/修改zabbix-proxy配置文件启动zabbix-proxy在所有主机上配置hosts解析在Web页面配置agent代理编辑点击左边菜单栏【管理】

思华年^O^·2024-01-19 17:27

架构篇06-复杂度来源：可扩展性

文章目录预测变化应对变化小结复杂度来源前面已经讲了高性能和高可用，今天来聊聊可扩展性。可扩展性指系统为了应对将来需求变化而提供的一种扩展能力，当有新的需求出现时，系统不需要或者仅需要少量修改就可以支持，无须整个系统重构或者重建。由于软件系统固有的多变性，新的需求总会不断提出来，因此可扩展性显得尤其重要。在软件开发领域，面向对象思想的提出，就是为了解决可扩展性带来的问题；后来的设计模式，更是将可扩展

星猿杂谈·2024-01-19 14:22

架构篇07-复杂度来源：低成本、安全、规模

文章目录低成本安全规模小结关于复杂度来源，前面的专栏已经讲了高性能、高可用和可扩展性，今天我们来聊聊复杂度另外三个来源低成本、安全和规模。低成本当我们的架构方案只涉及几台或者十几台服务器时，一般情况下成本并不是我们重点关注的目标，但如果架构方案涉及几百上千甚至上万台服务器，成本就会变成一个非常重要的架构设计考虑点。例如，A方案需要10000台机器，B方案只需要8000台机器，单从比例来看，也就节省

星猿杂谈·2024-01-19 13:10

MySQL数据库入门到大牛_高级_00_MySQL高级特性篇的内容简介

文章目录一、整个MySQL的思维导图二、MySQL高级特性篇大纲1.MySQL架构篇2.索引及调优篇3.事务篇4.日志与备份篇一、整个MySQL的思维导图下图为整个MySQL内容，01-05是基础篇，06

十月旧城·2024-01-19 04:16

Hbase高可用集群部署

Zookeeper集群的正常部署并启动Hadoop集群的正常部署并启动配置环境变量vi/etc/profile#Hbase-HAexportHBASE_HOME=/home/xyp9x/hbase-2.0.5-HAexportPATH=$PATH:$HBASE_HOME/binsource/etc/profilehbase-env.sh修改内容vihbase-env.shexportJAVA_HO

衡超越爱学习~·2024-01-19 00:21

架构篇05-复杂度来源：高可用

文章目录计算高可用存储高可用高可用状态决策小结今天，我们聊聊复杂度的第二个来源高可用。参考维基百科，先来看看高可用的定义。系统无中断地执行其功能的能力，代表系统的可用性程度，是进行系统设计时的准则之一。这个定义的关键在于“无中断”，但恰好难点也在“无中断”上面，因为无论是单个硬件还是单个软件，都不可能做到无中断，硬件会出故障，软件会有bug；硬件会逐渐老化，软件会越来越复杂和庞大……除了硬件和软件

星猿杂谈·2024-01-18 17:58

架构篇03-为什么要做架构设计？

文章目录架构设计的误区架构设计的真正目的简单的复杂度分析案例谈到架构设计，相信每个技术人员都是耳熟能详，但如果深入探讨一下，“为何要做架构设计？”或者“架构设计目的是什么？”类似的问题，大部分人可能从来没有思考过，或者即使有思考，也没有太明确可信的答案。架构设计的误区关于架构设计的目的，常见的误区有：因为架构很重要，所以要做架构设计这是一句正确的废话，架构是很重要，但架构为何重要呢？例如：不做架构

星猿杂谈·2024-01-18 08:32

架构篇04-复杂度来源：高性能

文章目录单机复杂度集群的复杂度小结从本篇开始，我们一起深入分析架构设计复杂度的6个来源，先来聊聊复杂度的来源之一高性能。对性能孜孜不倦的追求是整个人类技术不断发展的根本驱动力。例如计算机，从电子管计算机到晶体管计算机再到集成电路计算机，运算性能从每秒几次提升到每秒几亿次。但伴随性能越来越高，相应的方法和系统复杂度也是越来越高。现代的计算机CPU集成了几亿颗晶体管，逻辑复杂度和制造复杂度相比最初的晶

星猿杂谈·2024-01-18 08:32

【RabbitMQ】集群和运维

RabbitMQ集群模式主备模式远程模式普通集群模式镜像队列模式多活模式集群管理RabbitMQ镜像集群配置负载均衡-HAProxy监控集群方案原理对于无状态应用（如普通的微服务）很容易实现负载均衡、高可用集群

Ethan-running·2024-01-18 08:32

Zabbix补充扩展

页面配置自动发现自动注册3.部署zabbix代理服务器下载zabbix-proxy以及数据库启动zabbix-proxy及添加hosts解析在Web页面配置agent代理配置agent使用proxy4.部署Zabbix高可用集群服务端配置

Ybaocheng·2024-01-18 00:40

DolphinDB 高可用集群迁移指南

伪高可用集群的特点在于其控制节点的元数据文件虽然有多副本，但存在多副本在同一台服务器的情况。

DolphinDB智臾科技·2024-01-17 15:19

架构篇02-架构设计的历史背景

文章目录机器语言（1940年之前）汇编语言（20世纪40年代）高级语言（20世纪50年代）第一次软件危机与结构化程序设计（20世纪60年代~20世纪70年代）第二次软件危机与面向对象（20世纪80年代）软件架构的历史背景小结我们先来简单梳理一下软件开发进化的历史，探索一下软件架构出现的历史背景。机器语言（1940年之前）最早的软件开发使用的是“机器语言”，直接使用二进制码0和1来表示机器可以识别的

星猿杂谈·2024-01-16 18:48

CPU入门扫盲篇之MMU内存管理单元------万字长文带你搞定MMU&TLB&TWU

PART一：MMU架构篇MMU（MemoryManagementUnit，内存管理单元）是一种硬件模块，用于在CPU和内存之间实现虚拟内存管理。

芯想是陈·2024-01-16 10:10

《大型网站技术架构》学习笔记-02架构篇

上一篇文章已经介绍了网站系统最需要关注的5大质量属性，接下来对这些特性进行详细介绍（这部分有部分内容会显得有些陈旧，之后会进行更新）。高性能架构网站性能测试性能测试时性能优化的前提和基础，也是性能优化结果的检查和度量标准，接下来介绍常见的性能测试指标。响应时间：指一个操作的时间，包括发出请求开始到收到响应数据所需的时间，比如数据库查询一条带索引的记录需要10ms；机械磁盘顺序读取1MB数据需要2毫

weixin_34375054·2024-01-15 18:10

数据库负载均衡部署(使用ipvadm ，docker)

文章目录…要在Docker中使用IPVS配置MariaDB数据库的高可用集群，并设置VIP地址为192.168.201.4，密码全部设为123456你可以按照以下步骤进行操作：第一步创建一个docker

saddhu.·2024-01-15 07:04

MQ RabbitMQ 集群部署入门

实现rabbitMQ的高可用集群，一般在并发和数据量不高的情况下，这种模式非常的好用且简单。也就是一个主/备方案，主节点提供读写，备用节点不提供读写。

小P聊技术·2024-01-14 00:44

2020-04-04 Keepalived高可用集群应用实践（三）

1.Nginx负载均衡配合Keepalived服务的案例实战1.1在lb01和lb02上配置Nginx负载均衡结合前面介绍的Nginx负载均衡的环境，根据下图调整好主负载均衡器lb01、备用负载均很器lb02服务器上Nginx负载均衡环境，两台服务器的安装基础环境一致。Nginx负载均衡器高可用逻辑图这里使用的Nginx负载均衡的配置如下：[root@lb01~]#cd/application/n

阿丧小威·2024-01-13 19:21

CapitalOne - Artifactory高可用集群的自动化部署实践

背景本文为大家介绍CapitalOne如何利用自动化流水线实现ArtifactoryHA集群进行自动化运维。CapitalOne银行是美国最大的数字化银行之一，在CapitalOne的devops体系中应用了JFrogArtifactoryHA集群进行软件制品管理。由于CapitalOne规模庞大并且为满足业务连续性要求，其部署的ArtifactoryHA拥有primary和DR（灾备）两套集群的

JFrog·2024-01-13 16:06

推荐频道

高可用集群架构篇