MHA的集群架构实现高可用
MHA架构的部署
-
-
- 实验环境
- 实验准备
-
- 一，安装MHA
-
- 1、安装依赖环境
- 2、安装MHA的node组件
- 3、在MHA节点上安装manager组件
- 4、四台服务器设置ssh免密登录
- 5、配置MHA
-
- （1）设置脚本管理vip
- （2）配置MHA的配置文件
- 6,检查和启动manager
-
- 7、验证
- 二、故障修复步骤
-
- 1、修复db
- 2、修复主从
- #3、修改配置文件
-
- 4、启动manager
定义节点服务器名称
hostnamectl set-hostname manager
su
hostnamectl set-hostname master
su
hostnamectl set-hostname slave1
su
hostnamectl set-hostname slave2
su
实验环境
主：192.168.100.7
从1：192.168.100.5
从2:192.168.100.6
#配置主从复制和mha的vip等
MHA管理服务器：192.168.100.8 #安装了mha服务
client客户端：192.168.100.3
实验准备
三台服务器安装mysql并初始化（参考：https://blog.csdn.net/lv74134/article/details/118149487?spm=1001.2014.3001.5501）
三台mysql服务设置主从
可参考文章：https://blog.csdn.net/lv74134/article/details/118858341?spm=1001.2014.3001.5501
#配置MySQL 一主两从
⭐⭐#在所有数据库节点上授权两个用户，一个是从库同步使用，另一个是manager使用
grant replication slave on *.* to 'myslave'@'192.168.100.%' identified by '123456';
grant all privileges on *.* to 'mha'@'192.168.100.%' identified by 'manager';
⭐⭐#下面三条授权理论上不用添加，但是实验环境通过MHA检查MySQL主从报错，
报两个从库通过主机名连接不上主库，所以所有数据库都需要添加以下授权
通过mha检查的时候，是通过主机名的形式进行监控，这种情况会容易报错
grant all privileges on *.* to 'mha'@'master' identified by 'manager';
grant all privileges on *.* to 'mha'@'slave1' identified by 'manager';
grant all privileges on *.* to 'mha'@'slave2' identified by 'manager';
#所有从库开启只读功能（不会对超级管理员super生效，普通用户）
set global read_only=1;
flush privileges;
#在master上查看二进制文件和同步点
show master status;
#在两台节点服务器进行同步
change master to master_host='192.168.100.7',master_user='myslave',master_password='123456',master_log_file='master-bin.000001',master_log_pos=2963;
start slave;
show slave status\G;
一，安装MHA
1、安装依赖环境
给集群内四台（主从3，mha1）的服务器每个都安装mha的依赖环境
[root@master ~]# systemctl stop firewalld
[root@master ~]# setenforce 0
[root@master ~]# yum install epel-release --nogpgcheck -y
//--nogpgcheck 不进行gpg检查
yum install -y perl-DBD-MySQL \
perl-Config-Tiny \
perl-Log-Dispatch \
perl-Parallel-ForkManager \
perl-ExtUtils-CBuilder \
perl-ExtUtils-MakeMaker \
perl-CPAN
解析
[root@master ~]# yum install -y perl-DBD-MySQL \ //perl 针对mysql数据库的包
perl-Config-Tiny \ //从配置文件中去提取数据
perl-Log-Dispatch \ //日志
perl-Parallel-ForkManager \ //多线程管理
perl-ExtUtils-CBuilder \ //扩展工具
perl-ExtUtils-MakeMaker \
perl-CPAN //程序库
ntpdate ntp.aliyun.com #同步时间
2、安装MHA的node组件
MHA软件包对于每个操作版本不一样，这里centos7.4必须选择0.57版本
在所有（四台）服务器上必须先安装node组件，最后再manager节点上安装manager组件
因为manager依赖node组件，下面都是在master上操作演示安装node组件
上传mha4mysql-node-0.57.tar.gz到/opt
tar zxvf /opt/mha4mysql-node-0.57.tar.gz -C /root
cd /root/mha4mysql-node-0.57
perl Makefile.PL
make && make install
3、在MHA节点上安装manager组件
（必须先安装node才能安装manager组件）
mha4mysql-manager-0.57.tar.gz上传到/opt下
tar zxvf /opt/mha4mysql-manager-0.57.tar.gz -C /root
cd mha4mysql-manager-0.57
perl Makefile.PL
make && make install
4、四台服务器设置ssh免密登录
ssh-keygen -t rsa
ssh-copy-id 192.168.226.128
ssh-copy-id 192.168.226.129
ssh-copy-id 192.168.226.131
ssh-copy-id 192.168.226.132
5、配置MHA
（1）设置脚本管理vip
在MHA节点上复制相关脚本到/usr/local/bin目录
cp -ra /root/mha4mysql-manager-0.57/samples/scripts/ /usr/local/bin
#-a：此选项通常在复制目录时使用，它保留链接、文件属性，并复制目录下的所有内容
#-r: 递归
cp /usr/local/bin/scripts/master_ip_failover /usr/local/bin
vim /usr/local/bin/master_ip_failover （#删除原有内容，直接复制）
[server default]
manager_log=/var/log/masterha/app1/manager.log
manager_workdir=/var/log/masterha/app1.log
master_binlog_dir=/usr/local/mysql/data
master_ip_failover_script=/usr/local/bin/master_ip_failover
master_ip_online_change_script=/usr/local/bin/master_ip_online_change
password=manager
ping_interval=1
remote_workdir=/tmp
repl_password=123123
repl_user=myslave
secondary_check_script=/usr/local/bin/masterha_secondary_check -s 192.168.100.5 -s 192.168.100.6
shutdown_script=""
ssh_user=root
user=mha
[server1]
hostname=192.168.100.7
port=3306
[server2]
candidate_master=1
hostname=192.168.100.6
check_repl_delay=0
port=3306
[server3]
hostname=192.168.247.5
port=3306
（2）配置MHA的配置文件
mkdir /etc/masterha
cp /root/mha4mysql-manager-0.57/samples/conf/app1.cnf /etc/masterha/
vim /etc/masterha/app1.cnf
解析
[server default]
manager_log=/var/log/masterha/app1/manager.log //manager日志
manager_workdir=/var/log/masterha/app1.log //manager工作目录
master_binlog_dir=/usr/local/mysql/data //master保存binlog的位置，这里的路径要与master里配置的binlog的相同
master_ip_failover_script=/usr/local/bin/master_ip_failover //设置自动failover时候的切换脚本。也就是上边的那个脚本
master_ip_online_change_script=/usr/local/bin/master_ip_online_change //设置手动切换时候的切换脚本
password=manager //这个密码是前文中创建监控用户的那个密码
ping_interval=1 //设置监控主库，发送ping包的时间间隔，默认是3秒，尝试三次没有回应的时候自动进行railover
remote_workdir=/tmp //设置远程mysql时在发生切换时的日志binlog的保存位置
repl_password=123456 //设置复制同步用户密码
repl_user=myslave //设置复制同步用户的用户
secondary_check_script=/usr/local/bin/masterha_secondary_check -s 192.168.100.5 -s 192.168.100.6 //设置发生切换后发生报警的脚本，后面跟两个从服务器地址
shutdown_script="" //设置故障发生关闭故障脚本主机，此处没有指定脚本，代表不关闭
ssh_user=root //设置ssh的登录用户名
user=mha //设置监控用户
#[server1]
#hostname=192.168.100.7
#port=3306
#这个是master的ip
[server2]
candidate_master=1 //设置为候选master，如果设置该参数以后，MHA发送主从切换以后将会从此从库升级为主库，即使这个主库不是集群中事件最全的
hostname=192.168.100.6
check_repl_delay=0 //检查repl延迟为0，支持：默认情况下如果一个slave落后master 100M的relay logs话，MHA将不会选择该slave作为一个新的master，
port=3306
[server3]
hostname=192.168.100.5
port=3306
6,检查和启动manager
#测试无密码认证，如果正常会输出successfully
masterha_check_ssh -conf=/etc/masterha/app1.cnf
#测试主从复制
masterha_check_repl -conf=/etc/masterha/app1.cnf
#需注意：第一次配置需要在master节点上手动开启虚拟IP
/sbin/ifconfig ens32:1 192.168.100.100
#启动MHA
#启动时会进行日志记录（在后台开启）
nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha/app1/manager.log 2>&1 &
#查看到当前的master节点是谁
[root@manager masterha]# masterha_check_status --conf=/etc/masterha/app1.cnf app1 (pid:116353) is running(0:PING_OK), master:192.168.100.7
#查看当前日志信息
cat /var/log/masterha/app1/manager.log
#查看MySQL的VIP地址 192.168.100.100是否存在，这个VIP地址不会因为manager节点停止MHA服务而消失
ifconfig
7、验证
（1）在原master上模拟故障，查看master变化
pkill -9 mysql
tail -f /var/log/masterha/app1/manager.log #在manager上查看日志，100.6正常转换到新的master
在100.5上查看主服务器的ip
mysql> show slave status\G;
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 192.168.100.6 #变换成的100.6
Master_User: myslave
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000003
Read_Master_Log_Pos: 154
Relay_Log_File: relay-log-bin.000002
Relay_Log_Pos: 320
Relay_Master_Log_File: mysql-bin.000003
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
Replicate_Do_DB:
Replicate_Ignore_DB:
Replicate_Do_Table:
.........
（2）、观察中继日志relay
在新master上插入新数据
mysql> create database info;
Query OK, 1 row affected (0.00 sec)
mysql> use info;
Database changed
mysql> create table info (id int);
Query OK, 0 rows affected (0.01 sec)
观察新master的二进制和中继日志
cd /usr/local/mysql/data
mysqlbinlog --no-defaults --base64-output=decode-rows -v master-bin.0000003
mysqlbinlog --no-defaults --base64-output=decode-rows -v relay-log-bin.000001
查询100.5上的中继日志
mysqlbinlog --no-defaults --base64-output=decode-rows -v relay-log-bin.000002
# at 479
#210721 21:15:46 server id 6 end_log_pos 378 CRC32 0x443c8c45 Anonymous_GTID last_committed=1 sequence_number=2 rbr_only=no
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/;
# at 544
#210721 21:15:46 server id 6 end_log_pos 478 CRC32 0x673bd143 Query thread_id=47 exec_time=0 error_code=0
use `info`/*!*/;
SET TIMESTAMP=1626873346/*!*/;
create table info (id int) #新建的数据通过relay同步到了从服务器上
/*!*/;
SET @@SESSION.GTID_NEXT= 'AUTOMATIC' /* added by mysqlbinlog */ /*!*/;
DELIMITER ;
# End of log file
/*!50003 SET COMPLETION_TYPE=@OLD_COMPLETION_TYPE*/;
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=0*/;
二、故障修复步骤
1、修复db
在原来的主服务器上，开启中继日志功能、注释允许同步,
log_bin=master-bin
#log_slave=updates=true
server_id=7
relay-log=relay-log-bin
relay-log-index=slave-relay-bin.index
systemctl restart mysqld.service
2、修复主从
主备服务器：show master status；
mysql> show master status;
+-------------------+----------+--------------+------------------+-------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+-------------------+----------+--------------+------------------+-------------------+
| master-bin.000003 | 154 | | | |
+-------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)
#修复的master：
change master to master_host='192.168.100.7',master_user='myslave',master_password='123456',master_log_file='master-bin.000003',master_log_pos=154;
start slave；
set global read_only=1;
flush privileges;
#3、修改配置文件
（再把这个记录添加进去，因为它检测到失效时候会自动消失
[server1]
hostname=192.168.226.129
port=3306
4、启动manager
（在manager那台机器上）
nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha/app1/manager.log 2>&1 &
masterha_check_status --conf=/etc/masterha/app1.cnf
#查看到当前的master节点是谁
masterha_check_status --conf=/etc/masterha/app1.cnf
#解决中英字不兼容报错的问题
dos2unix /usr/local/bin/master_ip_failover