MHA高可用配置及故障切换

MHA

概述

传统的MySQL主从架构存在的问题：MySQL主服务器出故障后就无法写入数据了。
MHA是一套优秀的MySQL高可用环境下故障切换和主从复制的软件，MySQL故障过程中，MHA能做到0-30秒内自动完成故障切换。

组成

MHA Manager（管理节点）和 MHA Node（数据节点）。
MHA Manager 可以单独部署在一台独立的机器上，管理多个 master-slave 集群（Manger是单独一台监控master服务器健康状态的服务器。）；也可以部署在一台 slave 节点上。MHA Node 运行在每台 MySQL 服务器上，MHA Manager 会定时探测集群中的 master 节点。当 master 出现故障时，它可以自动将最新数据的 slave 提升为新的 master，然后将所有其他的 slave 重新指向新的 master。整个故障转移过程对应用程序完 全透明。

优点

在 MHA 自动故障切换过程中，MHA 试图从宕机的主服务器上保存二进制日志，最大程度的保证数据的不丢失，但这并不总是可行的。例如，如果主服务器硬件故障或无法通过 SSH 访问，MHA 没法保存二进制日志，就会出现只进行故障转移但丢失了最新的数据的情况。
使用 MySQL 5.5 的半同步复制，可以大大降低数据丢失的风险。MHA 可以与半同步复 制结合起来。如果只有一个 slave 已经收到了最新的二进制日志，MHA 可以将最新的二进 制日志应用于其他所有的 slave 服务器上，因此可以保证所有节点的数据一致性。

架构

目前MHA支持一主多从架构，最少三台服务，即一主两从。

示例

环境

主机名	IP地址	角色	软件包
Master	192.168.1.20	主服务器	node数据节点软件包
Slave1	192.168.1.30	主备/从服务器	node数据节点软件包
Slave2	192.168.1.40	从服务器	node数据节点软件包
Manger	192.168.1.15	MHA服务器	node数据节点软件包/Manger管理节点软件包

安装MySQL

在三台 MySQL 节点上分别安装数据库，MySQL 版本请使用 5.6.36，cmake 版本请使用 2.8.6。这样可以是系统与软件兼容性最好。

yum -y install ncurses-devel gcc-c++ perl-Module-Install
tar zxvf cmake-2.8.6.tar.gz
cd cmake-2.8.6
./configure
gmake && gmake install

tar zxvf mysql-5.6.36.tar.gz
cd mysql-5.6.36
make && make install

cp support-files/my-default.cnf /etc/my.cnf
cp support-files/mysql.server /etc/rc.d/init.d/mysqld
chmod +x /etc/rc.d/init.d/mysqld
chkconfig --add mysqld
echo "PATH=$PATH:/usr/local/mysql/bin" >> /etc/profile
source /etc/profile

groupadd mysql
useradd -M -s /sbin/nologin mysql -g mysql
chown -R mysql.mysql /usr/local/mysql

mkdir -p /data/mysql
/usr/local/mysql/scripts/mysql_install_db --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data --user=mysql

修改Master 的主配置文件/etc/my.cnf 文件

vi /etc/my.cnf
[client]
port = 3306
socket = /usr/local/mysql/mysql.sock

[mysql]
port = 3306
socket = /usr/local/mysql/mysql.sock

[mysqld]
user = mysql
basedir = /usr/local/mysql
datadir = /usr/local/mysql/data
port = 3306
pid-file = /usr/local/mysql/mysqld.pid
socket = /usr/local/mysql/mysql.sock
server-id = 1
log_bin = master-bin
log-slave-updates = true

sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES,NO_AUTO_CREATE_USER,NO_AUTO_VALUE_ON_ZERO,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,PIPES_AS_CONCAT,ANSI_QUOTES

server-id 不能一样，另外两台写 2 和 3 即可。
主备服务器/Slave1

vi /etc/my.cnf
[mysqld]
server-id = 2
log_bin = master-bin
relay_log = relay-log-bin
relay_log_index = slave-relay-bin.index

从服务器/Slave2

vi /etc/my.cnf
[mysqld]
server-id = 3
relay_log = relay-log-bin
relay_log_index = slave-relay-bin.index

每个MySQL做两个软链接，为HMA服务，启动MySQL

ln -s /usr/local/mysql/bin/mysql /usr/sbin
ln -s /usr/local/mysql/bin/mysqlbinlog /usr/sbin
systemctl start mysqld
mysql

主服务器需配置的命令

grant replication slave on *.* to 'myslave'@'192.168.1.%' identified by '123456';
grant all privileges on *.* to 'mha'@'192.168.1.%' identified by 'manager';
flush privileges;
show master status;

从服务器上面需配置(两台从服务器配置相同)，并设置两个从库为只读模式

change master to master_host='192.168.1.20',master_user='myslave',master_password='123456',master_log_file='master-bin.000001',master_log_pos=614;
start slave;
show slave status\G
set global read_only=1;

下面三条授权按理论是不用添加的，但是做案例实验环境时候通过MHA检查MySQL主从有报错，报两个从库通过主机名连接不上主库，所以所有数据库要加上下面的授权。

grant all privileges on *.* to 'mha'@'master' identified by 'manager';
grant all privileges on *.* to 'mha'@'slave1' identified by 'manager';
grant all privileges on *.* to 'mha'@'slave2' identified by 'manager';
#不加这三条授权mha健康检查时会报错

库插入两条数据，测试是否同步

create database sy;
use sy;
create table a(id int(1) not null primary key, name varchar(24));
insert into a values (1,'zhusan');
select * from a;

在两个从库分别查询如下所示说明主从同步正常

安装 MHA软件

所有服务器上都安装 MHA 依赖的环境

yum install epel-release --nogpgcheck
yum install -y perl-DBD-MySQL perl-Config-Tiny perl-Log-Dispatch perl-Parallel-ForkManager perl-ExtUtils-CBuilder perl-ExtUtils-MakeMaker perl-CPAN

给所有机器加上NAT网卡可以上网，解决在线源问题。

MHA软件包对于每个操作系统版本不一样，这里Centos7.6必须选择0.57版本，在所有服务器上必须先安装 node 组件，最后在 MHA-manager 节点上安装 manager 组件，因为 manager 依赖 node 组件。

tar zxf mha4mysql-node-0.57.tar.gz 
cd mha4mysql-node-0.57/
perl Makefile.PL
make
make install

在 MHA-manager 上安装 manager 组件

tar zxf mha4mysql-manager-0.57.tar.gz 
cd mha4mysql-manager-0.57/
perl Makefile.PL
make
make install

manager安装后在/usr/local/bin下面会生成几个工具，主要包括以下几个

工具	作用
masterha_conf_host	添加或删除配置的server信息
masterha_manager	启动manager的脚本
masterha_check_repl	检查MySQL复制状况
masterha_master_monitor	检测master是否宕机
masterha_check_ssh	检查MHA的SSH配置情况
masterha_master_switch	控制故障转移（自动或者手动）
masterha_check_status	检查当前MHA运行状态
masterha_stop	关闭manager

node 安装后也会在/usr/local/bin 下面会生成几个脚本（这些工具通常由 MHA
Manager 的脚本触发，无需人为操作）主要如下

脚本	功能
apply_diff_relay_logs	识别差异的中继日志事件并将其差异的事件应用于其他的slave
filter_mysqlbinlog	去除不必要的rollback事件（MHA已不再使用这个工具）
purge_relay_logs	清除中继日志（不会阻塞SQL线程）
save_binary_logs	保存和复制master的二进制日志

配置无密码认证

在manager上配置到所有数据节点的无密码认证
ssh-keygen -t rsa 
ssh-copy-id 192.168.1.20
ssh-copy-id 192.168.1.30
ssh-copy-id 192.168.1.40
在Master上配置到Slave1和Slave2的无密码认证
ssh-keygen -t rsa   
ssh-copy-id 192.168.1.30
ssh-copy-id 192.168.1.40
在Slave1配置到Master和Slave2的无密码认证
ssh-keygen -t rsa   
ssh-copy-id 192.168.1.20
ssh-copy-id 192.168.1.40
在Slave2上配置到Slave1和Master的无密码认证
ssh-keygen -t rsa   
ssh-copy-id 192.168.1.20
ssh-copy-id 192.168.1.30

配置 MHA

cp -ra /root/mha4mysql-manager-0.57/samples/scripts /usr/local/bin   #拷贝后会有四个执行文件
ll /usr/local/bin/scripts/

PS：
master_ip_failover ：自动切换时 VIP 管理的脚本
master_ip_online_change ：在线切换时 vip 的管理
power_manager ：故障发生后关闭主机的脚本
send_report ：因故障切换后发送报警的脚本

复制上述的自动切换时 VIP 管理的脚本到/usr/local/bin 目录，这里使用脚本管理 VIP， 也是推荐的一种方式，生产环境不太建议使用 keepalived。

cp /usr/local/bin/scripts/master_ip_failover /usr/local/bin

替换脚本

vi /usr/local/bin/master_ip_failover  #替换脚本内容
#!/usr/bin/env perl
use strict;
use warnings FATAL => 'all';

use Getopt::Long;

my (
$command, $ssh_user, $orig_master_host, $orig_master_ip,
$orig_master_port, $new_master_host, $new_master_ip, $new_master_port
);
#############################添加内容部分#########################################
my $vip = '192.168.1.200';     #这里改成同网段的一个未使用的ip作为虚拟ip
my $brdc = '192.168.1.255';    #虚拟ip的广播地址
my $ifdev = 'ens33';
my $key = '1';
my $ssh_start_vip = "/sbin/ifconfig ens33:$key $vip";
my $ssh_stop_vip = "/sbin/ifconfig ens33:$key down";
my $exit_code = 0;
#my $ssh_start_vip = "/usr/sbin/ip addr add $vip/24 brd $brdc dev $ifdev label $ifdev:$key;/usr/sbin/arping -q -A -c 1 -I $ifdev $vip;iptables -F;";
#my $ssh_stop_vip = "/usr/sbin/ip addr del $vip/24 dev $ifdev label $ifdev:$key";
##################################################################################
GetOptions(
'command=s' => \$command,
'ssh_user=s' => \$ssh_user,
'orig_master_host=s' => \$orig_master_host,
'orig_master_ip=s' => \$orig_master_ip,
'orig_master_port=i' => \$orig_master_port,
'new_master_host=s' => \$new_master_host,
'new_master_ip=s' => \$new_master_ip,
'new_master_port=i' => \$new_master_port,
);

exit &main();

sub main {
     

print "\n\nIN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===\n\n";

if ( $command eq "stop" || $command eq "stopssh" ) {
     

my $exit_code = 1;
eval {
     
print "Disabling the VIP on old master: $orig_master_host \n";
&stop_vip();
$exit_code = 0;
};
if ($@) {
     
warn "Got Error: $@\n";
exit $exit_code;
}
exit $exit_code;
}
elsif ( $command eq "start" ) {
     

my $exit_code = 10;
eval {
     
print "Enabling the VIP - $vip on the new master - $new_master_host \n";
&start_vip();
$exit_code = 0;
};
if ($@) {
     
warn $@;
exit $exit_code;
}
exit $exit_code;
}
elsif ( $command eq "status" ) {
     
print "Checking the Status of the script.. OK \n";
exit 0;
}
else {
     
&usage();
exit 1;
}
}
sub start_vip() {
     
`ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`;
}
# A simple system call that disable the VIP on the old_master
sub stop_vip() {
     
`ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;
}

sub usage {
     
print
"Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";
}

创建 MHA 软件目录并拷贝配置文件

mkdir /etc/masterha
cp /root/mha4mysql-manager-0.57/samples/conf/app1.cnf /etc/masterha

vi /etc/masterha/app1.cnf   #替换内容如下
[server default]
manager_workdir=/var/log/masterha/app1
manager_log=/var/log/masterha/app1/manager.log
master_binlog_dir=/usr/local/mysql/data
master_ip_failover_script= /usr/local/bin/master_ip_failover
master_ip_online_change_script= /usr/local/bin/master_ip_online_change
password=manager
user=mha
ping_interval=1
remote_workdir=/tmp
repl_password=123456
repl_user=myslave
secondary_check_script= /usr/local/bin/masterha_secondary_check  -s 192.168.1.30 -s 192.168.1.40
shutdown_script="" 
ssh_user=root
[server1]
hostname=192.168.1.20
port=3306
[server2]
hostname=192.168.1.30
port=3306
candidate_master=1    #设置为候选master，如果设置该参数以后，发生主从切换以后 会将此从库提升为主库，即使这个主库不是集群中最新的slave。
check_repl_delay=0    #默认情况下如果一个slave落后master 100M的relay logs的话，MHA将不会选择该slave作为一个新的slave，但check_repl_delay=0的话，即使落后很多日志，也强制选择其为备选主库。
[server3]
hostname=192.168.1.40
port=3306

文件配置	描述
manager_log=/var/log/masterha/app1/manager.log	manager日志
manager_workdir=/var/log/masterha/app1	manager工作目录
master_binlog_dir=/usr/local/mysql/data	master保存binlog的位置
master_ip_failover_script=/usr/local/bin/master_ip_failover	设置自动failover时候的切换脚本
master_ip_online_change_script=/usr/local/bin/master_ip_online_change	设置手动切换时的切换脚本
password=manager	设置mysql中root用户的密码，这个密码是前面创建监控用户的密码
ping_interval=1	设置监控主库，发送ping包的时间间隔，默认是3秒，尝试三次没有回应的时候自动进行failover
remote_workdir=/tmp	设置远端mysql在发生切换时binlog的保存位置
repl_password=123456	设置复制用户的密码
repl_user=myslave	设置复制用户的账户
report_script=/usr/local/send_report	设置发生切换后发送的报警的脚本
secondary_check_script=/usr/local/bin/masterha_secondary_check -s 192.168.10.11 -s 192.168.10.12 -s 192.168.10.13	设置服务器地址
shutdown_script=""	设置故障发生后关闭故障主机脚本（该脚本的主要作用是关闭主机防止发生脑裂）
ssh_user=root	设置ssh的登录用户名
user=mha	设置监控用户

测试 ssh 无密码认证，如果正常最后会输出 successfully

masterha_check_ssh --conf=/etc/masterha/app1.cnf

测试mha健康状态，如果正常最后会输出OK

masterha_check_repl --conf=/etc/masterha/app1.cnf

第一次配置需要去master上手动开启虚拟IP

/sbin/ifconfig ens33:1 192.168.1.200/24

启动MHA

nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha/app1/manager.log 2>&1 &

–remove_dead_master_conf： 代表当发生主从切换后，老的主库的ip将会从配置文件中移除

/var/log/masterha/app1/manager.log： 日志存放位置

–ignore_last_failover ： 在缺省情况下，如果MHA检测到连续发生宕机，且两次宕机间隔不足8小时的话，则不会进行failover，之所以这样是为了避免ping-pong效应。该参数代表忽略上次MHA触发切换产生的文件，默认情况下，MHA发生切换后会在日志中记录，下次再次切换的时候如果发现该目录下存在该文件将不允许触发切换，除非在第一次切换后收到删除该文件，为了方便这里设置为–ignore_last_failover。

查看MHA状态，可以看到当前master是master节点

masterha_check_status --conf=/etc/masterha/app1.cnf

查看MHA日志

cat /var/log/masterha/app1/manager.log

验证

将master数据库关闭，模拟宕机

pkill mysql
cat /var/log/masterha/app1/manager.log

通过查看日志可以看到虚拟地址产生了漂移

主备服务器查看地址

故障修复

对原master服务器启动mysql服务

/usr/local/mysql/bin/mysqld_safe --user=mysql&	# 启动mysql服务

进入mysql数据库查看此时的主服务器（原slave1）的主状态

原master

stop slave;
change master to master_host='192.168.1.30',master_user='myslave',master_password='123456',master_log_file='master-bin.000002',master_log_pos=120;
start slave;
show slave status\G

MHA服务器上修改配置文件

vi /etc/masterha/app1.cnf
[server1]            #此数据可能会消失，手动添加
hostname=20.0.0.10
port=3306

[server2]
hostname=20.0.0.11
port=3306
candidate_master=1   #删除
check_repl_delay=0   #删除

重新健康检查及验证

nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha/app1/manager.log 2>&1 &		# 开启manager服务
masterha_check_status --conf=/etc/masterha/app1.cnf		# 免密登录健康检查
masterha_check_repl -conf=/etc/masterha/app1.cnf		# 主从健康检查
masterha_check_status --conf=/etc/masterha/app1.cnf		# 查看MHA状态