MHA高可用示例配置以及故障切换

一、MHA概述

MHA是一套优秀的MySQL高可用环境下故障切换和主从复制的软件，MySQL故障过程中，MHA能做到0-30秒内自动完成故障切换。

MHA是由MHA Manager（管理节点）和 MHA Node（数据节点）组成。
MHA Manager 可以单独部署在一台独立的机器上，管理多个 master-slave 集群（Manger是单独一台监控master服务器健康状态的服务器。）；也可以部署在一台 slave 节点上。MHA Node 运行在每台 MySQL 服务器上，MHA Manager 会定时探测集群中的 master 节点。当 master 出现故障时，它可以自动将最新数据的 slave 提升为新的 master，然后将所有其他的 slave 重新指向新的 master。整个故障转移过程对应用程序完 全透明。

MHA特点

自动故障切换过程中，MHA试图从宕机的主服务器上保存二进制日志，最大程度的保证数据不丢失
使用半同步复制，可以大大降低数据丢失的风险
目前MHA支持一主多从架构，最少三台服务，即一主两从

MHA缺点

需要编写脚本或利用第三方工具来实现vip的配置
MHA启动后只会对数据库进行监控，需要基于ssh免认证配置，存在一定的安全隐患
没有提供从服务器的读负载均衡的功能。

二、设计MHA高可用案例

MHA架构

1）数据库安装
2）一主两从
3）搭建MHA

环境配置

主机名	IP地址	作用	软件包
Master	192.168.146.10	主服务器	node数据节点软件包
Slave1	192.168.146.20	主备/从服务器	node数据节点软件包
Slave2	192.168.146.30	从服务器	node数据节点软件包
Manger	192.168.146.40	从服务器	node数据节点软件包/Manger管理节点软件包

操作步骤

安装 MySQL 数据库

1、安装编译依赖的环境

[root@Master ~]# yum -y install ncurses-devel gcc-c++ perl-Module-Install

2、安装 gmake 编译软件

[root@Master ~]# tar zxvf cmake-2.8.6.tar.gz
[root@Master ~]# cd cmake-2.8.6
[root@Master cmake-2.8.6]# ./configure
[root@Master cmake-2.8.6]# gmake && gmake install

3、安装 MySQL 数据库

[root@Master ~]# tar zxvf mysql-5.6.36.tar.gz
[root@Master ~]# cd mysql-5.6.36
[root@Master mysql-5.6.36]# cmake -DCMAKE_INSTALL_PREFIX=/usr/local/mysql -DDEFAULT_CHARSET=utf8 -   DDEFAULT_COLLATION=utf8_general_ci -DWITH_EXTRA_CHARSETS=all -DSYSCONFDIR=/etc
[root@Master mysql-5.6.36]# make && make install
[root@Master mysql-5.6.36]# cp support-files/my-default.cnf /etc/my.cnf
[root@Master mysql-5.6.36]# cp support-files/mysql.server /etc/rc.d/init.d/mysqld
[root@Master ~]# chmod +x /etc/rc.d/init.d/mysqld
[root@Master ~]# chkconfig --add mysqld
[root@Master ~]# echo "PATH=$PATH:/usr/local/mysql/bin" >> /etc/profile
[root@Master ~]# source /etc/profile
[root@Master ~]# groupadd mysql
[root@Master ~]# useradd -M -s /sbin/nologin mysql -g mysql
[root@Master ~]# chown -R mysql.mysql /usr/local/mysql
[root@Master ~]# mkdir -p /data/mysql
[root@Master ~]# /usr/local/mysql/scripts/mysql_install_db --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data --user=mysql

4、修改 Master 的主配置文件/etc/my.cnf 文件

[root@Master ~]# vi /etc/my.cnf
[mysqld]
server-id = 1
log_bin = master-bin
log-slave-updates = true

注：三台服务器的 server-id 不能一样，要删除utf8语句

配置从服务器

1、主备服务器Slave1

[root@Slave1 ~]# vi /etc/my.cnf
[mysqld]
server-id = 2
log_bin = master-bin
relay_log = relay-log-bin
relay_log_index = slave-relay-bin.index

2、从服务器Slave2

[root@Slave2 ~]# vi /etc/my.cnf
[mysqld]
server-id = 3
relay_log = relay-log-bin
relay_log_index = slave-relay-bin.index

3、每个MySQL做两个软链接，为HMA服务

ln -s /usr/local/mysql/bin/mysql /usr/sbin
ln -s /usr/local/mysql/bin/mysqlbinlog /usr/sbin

4、启动MySQL服务

systemctl start mysqld

5、配置MySQL一主两从
主服务器：

mysql> grant replication slave on *.* to 'myslave'@'192.168.146.%' identified by 'abc123';
mysql> grant all privileges on *.* to 'mha'@'192.168.146.%' identified by 'manager';
mysql> flush privileges;

mysql> show grants for myslave@'192.168.146.%';       ###查看授权
+-------------------------------------------------------------------------------------------------------------------------------+
| Grants for [email protected].%                                                                                               |
+-------------------------------------------------------------------------------------------------------------------------------+
| GRANT REPLICATION SLAVE ON *.* TO 'myslave'@'192.168.146.%' IDENTIFIED BY PASSWORD '*6691484EA6B50DDDE1926A220DA01FA9E575C18A' |
+-------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)

mysql> show master status;                       ###查看二进制文件和同步点
+-------------------+----------+--------------+------------------+-------------------+
| File              | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+-------------------+----------+--------------+------------------+-------------------+
| master-bin.000001 |      416 |              |                  |                   |
+-------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

下面三条授权按理论是不用添加的，但是做案例实验环境时候通过 MHA 检查MySQL 主从有报错，报两个从库通过主机名连接不上主库，所以所有数据库加上下面的授权。

mysql> grant all privileges on *.* to 'mha'@'Mysql1' identified by 'manager';
mysql> grant all privileges on *.* to 'mha'@'Mysql2' identified by 'manager';
mysql> grant all privileges on *.* to 'mha'@'Mysql3' identified by 'manager';

从服务器：

mysql> change master to master_host='192.168.146.10',master_user='myslave',master_password='abc123',master_log_file='master-bin.000001',master_log_pos=416;
mysql> start slave;

查看 IO 和 SQL 线程都是 yes 代表同步是否正常

mysql> show slave status\G;
Slave_IO_Running: Yes
Slave_SQL_Running: Yes

6、设置两个从库为只读模式

mysql> set global read_only=1;

7、在 Mysql1 主库插入两条数据，测试是否同步
主服务器：

mysql> create database aaa;
Query OK, 1 row affected (0.00 sec)

mysql> use aaa;
Database changed
mysql> create table a1(id int(1) not null primary key, name varchar(24));
Query OK, 0 rows affected (0.00 sec)

mysql> insert into a1 values(1,'zhangsan');
Query OK, 1 row affected (0.00 sec)

mysql> select * from a1;
+----+----------+
| id | name     |
+----+----------+
|  1 | zhangsan |
+----+----------+
1 row in set (0.00 sec)

从服务器slave1：

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| aaa                |
| mysql              |
| performance_schema |
| test               |
+--------------------+
5 rows in set (0.00 sec)

mysql> use aaa;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
mysql> select * from a1;
+----+----------+
| id | name     |
+----+----------+
|  1 | zhangsan |
+----+----------+
1 row in set (0.00 sec)

从服务器slave2：

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| aaa                |
| mysql              |
| performance_schema |
| test               |
+--------------------+
5 rows in set (0.00 sec)

mysql> use aaa;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
mysql> select * from a1;
+----+----------+
| id | name     |
+----+----------+
|  1 | zhangsan |
+----+----------+
1 row in set (0.00 sec)

安装MHA软件

1、所有服务器上都安装 MHA 依赖的环境，首先安装 epel 源

[root@Manager ~]# yum -y install epel-release --nogpgcheck
[root@Manager ~]# yum -y install perl-DBD-MySQL \
perl-Config-Tiny \
perl-Log-Dispatch \
perl-Parallel-ForkManager \
perl-ExtUtils-CBuilder \
perl-ExtUtils-MakeMaker \
perl-CPAN

2、MHA软件包对于每个操作系统版本不一样，这里Centos7.6必须选择0.57版本，在所有服务器上必须先安装 node 组件，最后在 MHA-manager 节点上安装 manager 组件，因为 manager 依赖 node 组件。

[root@Manager opt]# tar zxf mha4mysql-node-0.57.tar.gz 
[root@Manager opt]# cd mha4mysql-node-0.57/
[root@Manager mha4mysql-node-0.57]# perl Makefile.PL
[root@Manager mha4mysql-node-0.57]# make
[root@Manager mha4mysql-node-0.57]# make install

3、在 MHA-manager 上安装 manager 组件

[root@Manager opt]# tar zxf mha4mysql-manager-0.57.tar.gz 
[root@Manager opt]# cd mha4mysql-manager-0.57/
[root@Manager mha4mysql-manager-0.57]# perl Makefile.PL
[root@Manager mha4mysql-manager-0.57]# make
[root@Manager mha4mysql-manager-0.57]# make install

manager 安装后在/usr/local/bin 下面会生成几个工具，包括以下几个：

[root@Manager ~]# cd /usr/local/bin
[root@Manager bin]# ls -lh
总用量 84
-r-xr-xr-x. 1 root root 16381 11月 7 18:36 apply_diff_relay_logs
-r-xr-xr-x. 1 root root  4807 11月 7 18:36 filter_mysqlbinlog
-r-xr-xr-x. 1 root root  1995 11月 7 18:39 masterha_check_repl ###检查 MySQL 复制状况
-r-xr-xr-x. 1 root root  1779 11月 7 18:39 masterha_check_ssh ###检查 MHA 的 SSH 配置状况
-r-xr-xr-x. 1 root root  1865 11月 7 18:39 masterha_check_status ###检测当前 MHA 运行状态
-r-xr-xr-x. 1 root root  3201 11月 7 18:39 masterha_conf_host ###添加或删除配置的 server 信息
-r-xr-xr-x. 1 root root  2517 11月 7 18:39 masterha_manager ###启动 manager的脚本
-r-xr-xr-x. 1 root root  2165 11月 7 18:39 masterha_master_monitor ###检测 master 是否宕机
-r-xr-xr-x. 1 root root  2373 11月 7 18:39 masterha_master_switch ###控制故障转移（自动或者手动）
-r-xr-xr-x. 1 root root  5171 11月 7 18:39 masterha_secondary_check
-r-xr-xr-x. 1 root root  1739 11月 7 18:39 masterha_stop ###关闭manager
-r-xr-xr-x. 1 root root  8261 11月 7 18:36 purge_relay_logs
-r-xr-xr-x. 1 root root  7525 11月 7 18:36 save_binary_logs

4、配置无密码认证

在manager上配置到所有数据节点的无密码认证

[root@Manager ~]# ssh-keygen -t rsa //一路按回车键
[root@Manager ~]# ssh-copy-id 192.168.146.10
[root@Manager ~]# ssh-copy-id 192.168.146.20
[root@Manager ~]# ssh-copy-id 192.168.146.30

在 Mysql1 上配置到数据库节点的无密码认证

[root@Master ~]# ssh-keygen -t rsa
[root@Master ~]# ssh-copy-id 192.168.146.20
[root@Master ~]# ssh-copy-id 192.168.146.30

在 Mysql2 上配置到数据库节点的无密码认证

[root@Slave1 ~]# ssh-keygen -t rsa
[root@Slave1 ~]# ssh-copy-id 192.168.146.10
[root@Slave1 ~]# ssh-copy-id 192.168.146.30

在 Mysql3 上配置到数据库节点的无密码认证

[root@Slave2 ~]# ssh-keygen -t rsa
[root@Slave2 ~]# ssh-copy-id 192.168.146.10
[root@Slave2 ~]# ssh-copy-id 192.168.146.20

5、配置 MHA

1、在 manager 节点上复制相关脚本到/usr/local/bin 目录

[root@Manager ~]# cp -ra /opt/mha4mysql-manager-0.57/samples/scripts /usr/local/bin
[root@Manager ~]# ll /usr/local/bin/scripts/
总用量 32
-rwxr-xr-x. 1 1001 1001  3648 5月  31 2015 master_ip_failover ###自动切换时 VIP 管理的脚本
-rwxr-xr-x. 1 1001 1001  9870 5月  31 2015 master_ip_online_change ###在线切换时 vip 的管理
-rwxr-xr-x. 1 1001 1001 11867 5月  31 2015 power_manager ###故障发生后关闭主机的脚本
-rwxr-xr-x. 1 1001 1001  1360 5月  31 2015 send_report ###因故障切换后发送报警的脚本

2、复制上述的自动切换时 VIP 管理的脚本到/usr/local/bin 目录，这里使用脚本管理 VIP，也是推荐的一种方式，生产环境不太建议使用 keepalived

[root@Manager ~]# cp /usr/local/bin/scripts/master_ip_failover /usr/local/bin
[root@Manager ~]# vi /usr/local/bin/master_ip_failover
#!/usr/bin/env perl
use strict;
use warnings FATAL => 'all';

use Getopt::Long;

my (
$command, $ssh_user, $orig_master_host, $orig_master_ip,
$orig_master_port, $new_master_host, $new_master_ip, $new_master_port
);
#############################添加内容部分#########################################
my $vip = '192.168.146.200';
my $brdc = '192.168.146.255';
my $ifdev = 'ens33';
my $key = '1';
my $ssh_start_vip = "/sbin/ifconfig ens33:$key $vip";
my $ssh_stop_vip = "/sbin/ifconfig ens33:$key down";
my $exit_code = 0;
#my $ssh_start_vip = "/usr/sbin/ip addr add $vip/24 brd $brdc dev $ifdev label $ifdev:$key;/usr/sbin/arping -q -A -c 1 -I $ifdev $vip;iptables -F;";
#my $ssh_stop_vip = "/usr/sbin/ip addr del $vip/24 dev $ifdev label $ifdev:$key";
##################################################################################
GetOptions(
'command=s' => \$command,
'ssh_user=s' => \$ssh_user,
'orig_master_host=s' => \$orig_master_host,
'orig_master_ip=s' => \$orig_master_ip,
'orig_master_port=i' => \$orig_master_port,
'new_master_host=s' => \$new_master_host,
'new_master_ip=s' => \$new_master_ip,
'new_master_port=i' => \$new_master_port,
);

exit &main();

sub main {

print "\n\nIN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===\n\n";

if ( $command eq "stop" || $command eq "stopssh" ) {

my $exit_code = 1;
eval {
print "Disabling the VIP on old master: $orig_master_host \n";
&stop_vip();
$exit_code = 0;
};
if ($@) {
warn "Got Error: $@\n";
exit $exit_code;
}
exit $exit_code;
}
elsif ( $command eq "start" ) {

my $exit_code = 10;
eval {
print "Enabling the VIP - $vip on the new master - $new_master_host \n";
&start_vip();
$exit_code = 0;
};
if ($@) {
warn $@;
exit $exit_code;
}
exit $exit_code;
}
elsif ( $command eq "status" ) {
print "Checking the Status of the script.. OK \n";
exit 0;
 }
else {
&usage();
exit 1;
}
}
 sub start_vip() {
`ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`;
}
#A simple system call that disable the VIP on the old_master
sub stop_vip() {
`ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;
}

sub usage {
print "Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";
}

6、创建MHA软件目录并拷贝配置文件

[root@Manager ~]# mkdir /etc/masterha
[root@Manager ~]# cp /opt/mha4mysql-manager-0.57/samples/conf/app1.cnf /etc/masterha
[root@Manager ~]# vi /etc/masterha/app1.cnf
[server default]
manager_workdir=/var/log/masterha/app1
manager_log=/var/log/masterha/app1/manager.log
master_binlog_dir=/usr/local/mysql/data
master_ip_failover_script= /usr/local/bin/master_ip_failover
master_ip_online_change_script= /usr/local/bin/master_ip_online_change
password=manager
user=mha
ping_interval=1
remote_workdir=/tmp
repl_password=abc123
repl_user=myslave
secondary_check_script= /usr/local/bin/masterha_secondary_check -s 192.168.146.10 -s 192.168.146.20 -s    192.168.146.30
shutdown_script=""
ssh_user=root

[server1]
hostname=192.168.146.10
port=3306

[server2]
hostname=192.168.146.20
port=3306
candidate_master=1   #设置为候选master，如果设置该参数以后，发生主从切换以后 会将此从库提升为主库，即使这个主库不是集群中最新的slave。
check_repl_delay=0     #默认情况下如果一个slave落后master 100M的relay logs的话，MHA将不会选择该slave作为一个新的slave，但check_repl_delay=0的话，即使落后很多日志，也强制选择其为备选主库。

[server3]
hostname=192.168.146.30
port=3306

配置文件解析

[server default]
manager_log=/var/log/masterha/app1/manager.log                    #manager日志
manager_workdir=/var/log/masterha/app1                            #manager工作目录
master_binlog_dir=/usr/local/mysql/data                           #master保存binlog的位置
master_ip_failover_script=/usr/local/bin/master_ip_failover              #设置自动failover时候的切换脚本
master_ip_online_change_script=/usr/local/bin/master_ip_online_change     #设置手动切换时的切换脚本
password=manager              #设置mysql中root用户的密码，这个密码是前面创建监控用户的密码
ping_interval=1               #设置监控主库，发送ping包的时间间隔，默认是3秒，尝试三次没有回应的时候自动进行failover
remote_workdir=/tmp           #设置远端mysql在发生切换时binlog的保存位置
repl_password=abc123                           #设置复制用户的密码
repl_user=myslave                              #设置复制用户的账户
report_script=/usr/local/send_report           #设置发生切换后发送的报警的脚本
secondary_check_script=/usr/local/bin/masterha_secondary_check -s 14.0.0.30 -s 14.0.0.40
shutdown_script=""    #设置故障发生后关闭故障主机脚本（该脚本的主要作用是关闭主机防止发生脑裂）
ssh_user=root         #设置ssh的登录用户名
user=mha              #设置监控用户

7、测试ssh无密码认证，如果正常最后会输出successfully，如下所示

[root@Manager ~]# masterha_check_ssh -conf=/etc/masterha/app1.cnf
Wed Nov 8 08:57:22 2020 - [debug]   ok.
Wed Nov 8 08:57:23 2020 - [info] All SSH connection tests passed successfully.

8、测试mha健康状态，如果正常最后会输出OK，如下所示

[root@Manager ~]# masterha_check_repl -conf=/etc/masterha/app1.cnf
...省略内容
MySQL Replication Health is OK.

9、启动MHA

[root@Manager ~]# nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha/app1/manager.log 2>&1 &

–remove_dead_master_conf #代表当发生主从切换后，老的主库的ip将会从配置文件中移除
/var/log/masterha/app1/manager.log #日志存放位置
–ignore_last_failover #在缺省情况下，如果MHA检测到连续发生宕机，且两次宕机间隔不足8小时的话，则不会进行failover，之所以这样是为了避免ping-pong效应。该参数代表忽略上次MHA触发切换产生的文件，默认情况下，MHA发生切换后会在日志中记录，下次再次切换的时候如果发现该目录下存在该文件将不允许触发切换，除非在第一次切换后收到删除该文件，为了方便这里设置为–ignore_last_failover。

10、查看MHA状态，可以看到当前master是Slave1节点

[root@Manager ~]# masterha_check_status --conf=/etc/masterha/app1.cnf
app1 (pid:15272) is running(0:PING_OK), master:192.168.146.10

实验验证
1、将master数据库关闭，模拟宕机
[root@Master ~]# pkill -9 mysql

2、查看从库状态

 mysql> show slave status \G
*************************** 1. row ***************************
           Slave_IO_State: Waiting for master to send event
              Master_Host: 192.168.146.20         ###主库成功切换到备选主库
              Master_User: myslave
              Master_Port: 3306
            Connect_Retry: 60
          Master_Log_File: master-bin.000003
      Read_Master_Log_Pos: 1232
           Relay_Log_File: relay-log-bin.000002
            Relay_Log_Pos: 284
    Relay_Master_Log_File: master-bin.000003
         Slave_IO_Running: Yes
        Slave_SQL_Running: Yes

修复主从

[root@Manager ~]# vi /etc/masterha/app1.cnf
[server1]
hostname=192.168.146.10
port=3306
candidate_master=1
check_repl_delay=0

[server2]
hostname=192.168.146.20
port=3306

[server3]
hostname=192.168.146.30
port=3306

原主服务器：

mysql>change master to master_host='192.168.146.20',master_user='myslave',master_password='abc123',master_log_file='master-  bin.000003',master_log_pos=1232；
mysql> start slave;

mysql> show slave status \G
*************************** 1. row ***************************
           Slave_IO_State: Waiting for master to send event
              Master_Host: 192.168.146.20
              Master_User: myslave
              Master_Port: 3306
            Connect_Retry: 60
          Master_Log_File: master-bin.000003
      Read_Master_Log_Pos: 1232
           Relay_Log_File: mysqld-relay-bin.000002
            Relay_Log_Pos: 284
    Relay_Master_Log_File: master-bin.000003
         Slave_IO_Running: Yes
        Slave_SQL_Running: Yes

测试主从同步是否正常：

主：

mysql> create database ddd;
Query OK, 1 row affected (0.00 sec)

从：

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| aaa                |
| bbb                |
| ccc                |
| ddd                |
| mysql              |
| performance_schema |
| test               |
+--------------------+
8 rows in set (0.04 sec)

1、健康检查

[root@Manager ~]# masterha_check_repl -conf=/etc/masterha/app1.cnf 
...省略内容
MySQL Replication Health is OK.

2、启动服务

[root@Manager ~]# nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha/app1/manager.log 2>&1 &