MHA高可用配置与故障切换，以及MHA配置文件app1.cnf详解
MHA高可用配置与故障切换，以及MHA配置文件app1.cnf详解
- 前言
- 一：MHA
-
- 1.1：MHA概述
- 1.2：MHA的组成
- 1.3：MHA特点
- 1.4：MHA形成的原因
- 二：MHA架构
-
- 2.1：实验环境
- 2.2：实验原理图
- 2.3：实验目的
- 2.4：实验步骤
-
- 2.4.1：安装编译依赖的环境
- 2.4.2：安装gmake编译软件
- 2.4.3：安装MySQL数据库
- 2.4.4：启动mysqld
- 2.4.5：修改Mysql的主配置文件/etc/my.cnf文件，三台服务器的server-id不能一样
- 2.4.6：Mysql1、Mysql2、Mysql3分别做两个软链接
- 2.4.7：Mysql1、Mysql2、Mysql3启动MySQL并登陆
- 2.4.8：搭建mysql主从复制环境
- 2.4.9：在master服务器上查看二进制文件和同步点
- 2.4.10：所有节点安装环境和Node组件和Manager组件
- 2.4.11：检查生成的配置文件
- 2.4.12：配置无密码认证
- 2.4.13：配置MHA
- 2.4.14：测试SSH与mysql主从连接
- 2.4.15：配置虚拟IP，启动MHA
- 2.4.16：模拟故障并验证
- 2.4.17：尝试从客户端通过虚拟IP连接上数据库
- 三：MHA配置文件app1.cnf详解
前言
- 传统的MySQL主从架构存在的问题：单点故障。因此MHA产生，MHA目前在MySQL高可用方面是一个相对成熟的解决方案。
一：MHA
1.1：MHA概述
- 日本DeNA公司 youshimaton（现就职于 Facebook公司）开发
- 一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件
- 支持故障切换
- 在MySQL故障切换过程中，MHA能做到在0~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换的过程中，MHA能在最大程度上保证数据的一致性，以达到真正意义上的高可用
- MHA还提供在线主库切换的功能，能够安全地切换当前运行的主库到一个新的主库中(通过将从库提升为主库),大概0.5-2秒内即可完成
1.2：MHA的组成
- MHA Manager（管理节点）
- 用来接收外部信号，监控下方数据节点的工作状态
- MHA Node（数据节点）
- 工作的单位，负责具体的工作
1.3：MHA特点
- 自动故障切换过程中，MHA试图从宕机的主服务器上保存二进制日志，最大程度的保证数据的不丢失
- 使用 MySQL55的半同步复制，可以大大降低数据丢失的风险
1.4：MHA形成的原因
- 传统mysql主从架构存在单点故障的问题
- 传统架构中，只有一个mysql主服务器，所以当出现单点故障的时候，整个服务器群集就会瘫痪掉
- 为了解决这种情况，我们需要在主服务器宕机的时候，重新建立一台主服务器，负责监控等工作
二：MHA架构
2.1：实验环境
- VMware软件
- 一台centos7作为MHA
- 三台centos7作为mysql服务器（mysql1为master，mysql2位从/主备，mysql3位从）
2.2：实验原理图
2.3：实验目的
- 通过MHA监控MySQL数据库，在故障时自动进行切换，不影响业务
- 当主库失效时，备选主库自动成为主库
2.4：实验步骤
-
实现思路
- 安装mysql数据库
- 配置mysql一主两从
- 安装MHA软件
- 配置无密码认证
- 配置mysql mha高可用
- 模拟master故障切换
-
因为操作系统是centos7，所以要下载MHA 0.57版本
-
准备软件包
cmake-2.8.6.tar.gz
mha4mysql-manager-0.57.tar.gz
mha4mysql-node-0.57.tar.gz
mysql-5.6.36.tar.gz
ruby-2.4.1.tar.gz
- 关闭防火墙和核心防护
iptables -F
setenfoce 0
2.4.1：安装编译依赖的环境
yum -y install ncurses-devel gcc-c++ perl-Module-Install
2.4.2：安装gmake编译软件
cd /opt
tar zxvf cmake-2.8.6.tar.gz
cd cmake-2.8.6
./configure
gmake &&gmake install
2.4.3：安装MySQL数据库
cd /opt
tar -zxvf mysql-5.6.36.tar.gz
cd mysql-5.6.36/
cmake -DCMAKE_INSTALL_PREFIX=/usr/local/mysql \
-DDEFAULT_CHARSET=utf8 \
-DDEFAULT_COLLATION=utf8_general_ci \
-DWITH_EXTRA_CHARSETS=all \
-DSYSCONFDIR=/etc
make && make install
[root@slave ~]# cd /opt/mysql-5.6.36/
[root@Mysql1 mysql-5.6.36]# cp support-files/my-default.cnf /etc/my.cnf
[root@Mysql1 mysql-5.6.36]# cp support-files/mysql.server /etc/rc.d/init.d/mysqld
[root@Mysql1 ~]# chmod +x /etc/rc.d/init.d/mysqld
[root@Mysql1 ~]# chkconfig --add mysqld
[root@Mysql1 ~]# echo "PATH=$PATH:/usr/local/mysql/bin" >>/etc/profile
[root@Mysql1 ~]# source /etc/profile
[root@Mysql1 ~]# groupadd mysql
[root@Mysql1 ~]# useradd -M -s /sbin/nologin mysql -g mysql
[root@Mysql1 ~]# chown -R mysql.mysql /usr/local/mysql
[root@Mysql1 ~]# mkdir -p /data/mysql
/usr/local/mysql/scripts/mysql_install_db \
--basedir=/usr/local/mysql \
--datadir=/usr/local/mysql/data \
--user=mysql
2.4.4：启动mysqld
[root@Mysql1 mysql-5.6.36]# service mysqld start
[root@Mysql1 mysql-5.6.36]# netstat -ntap | grep 3306
2.4.5：修改Mysql的主配置文件/etc/my.cnf文件，三台服务器的server-id不能一样
[root@Mysql1 mysql-5.6.36]# vim /etc/my.cnf
[mysqld]
server-id = 1
log_bin = master-bin
log-slave-updates = true
'配置从服务器 mysql2 :'
'在/etc/my.cnf中修改或者增加下面内容'。
vim /etc/my.cnf
server-id = 2
log_bin = master-bin
relay-log = relay-log-bin
relay-log-index = slave-relay-bin.index
'配置从服务器 mysql3'
vim /etc/my.cnf
server-id = 3
log_bin = master-bin
relay-log = relay-log-bin
relay-log-index = slave-relay-bin.index
2.4.6：Mysql1、Mysql2、Mysql3分别做两个软链接
[root@mysql1 ~]# ln -s /usr/local/mysql/bin/mysql /usr/sbin/
[root@mysql1 ~]# ln -s /usr/local/mysql/bin/mysqlbinlog /usr/sbin/
2.4.7：Mysql1、Mysql2、Mysql3启动MySQL并登陆
[root@Mysql1 ~]# /usr/local/mysql/bin/mysqld_safe --user=mysql &
或
service mysqld restart
mysql -uroot -p 无密码登陆
2.4.8：搭建mysql主从复制环境
-
主从复制环境中的mysql同步的用户名为：myslave 密码：123456
-
额外调整
- 所有数据库授权mha用户对数据库的操作权限，每一个mysql数据库都要设置
-
在所有数据库节点上授权两个用户，一个是从库同步使用，另外一个是master使用
mysql> GRANT REPLICATION SLAVE ON *.* TO 'myslave'@'20.0.0.%' IDENTIFIED BY '123456';
'20.0.0.0段的从服务器拥有复制权限，可以使用myslave身份123456密码复制所有的库和表'
mysql> grant all privileges on *.* to 'mha'@'20.0.0.%' identified by 'manager';
'主备mysql服务器添加用户和权限'
mysql> flush privileges; '刷新'
'下面三条授权按理论是不用添加的，但是做案例实验环境时候通过MHA检查MySQL主从有报错,'
'报两个从库通过主机名连接不上主库，所以所有数据库加上下面的授权'。
mysql> grant all privileges on *.* to 'mha'@'Mysql1' identified by 'manager';
mysql> grant all privileges on *.* to 'mha'@'Mysql2' identified by 'manager';
mysql> grant all privileges on *.* to 'mha'@'Mysql3' identified by 'manager';
mysql> flush privileges; 刷新
2.4.9：在master服务器上查看二进制文件和同步点
mysql> show master status;
+-------------------+----------+--------------+------------------+-------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+-------------------+----------+--------------+------------------+-------------------+
| master-bin.000001 | 1219 | | | |
+-------------------+----------+--------------+------------------+-------------------+
- 接下来在Mysql2和Mysql3分别执行同步。
change master to master_host='20.0.0.51',master_user='myslave',master_password='123456',master_log_file='master-bin.000001',master_log_pos=1284;
mysql>start slave; '开启从'
- 查看IO和SQL线程都是yes代表同步是否正常
mysql> show slave status\G;
Slave_lO_Running: Yes
Slave_sQL_Running: Yes
- 必须设置两个从库为只读模式
mysql> set global read_only=1;
mysql> flush privileges;
2.4.10：所有节点安装环境和Node组件和Manager组件
- 所有服务器上都要安装mha依赖的环境，此处仅展示mha_manager的安装
[root@mha ~]# yum install epel-release --nogpgcheck -y
[root@mha ~]# yum install -y perl-DBD-MySQL \
perl-Config-Tiny \
perl-Log-Dispatch \
perl-Parallel-ForkManager \
perl-ExtUtils-CBuilder \
perl-ExtUtils-MakeMaker \
perl-CPAN
- 所有服务器都安装安装node组件，此处仅展示master服务器的安装
[root@mysql1 mysql-5.6.36]# cd /opt
[root@mysql1 opt]# tar zxvf mha4mysql-node-0.57.tar.gz
[root@mysql1 opt]# cd mha4mysql-node-0.57/
[root@mysql1 mha4mysql-node-0.57]# perl Makefile.PL
[root@mysql1 mha4mysql-node-0.57]# make
[root@mysql1 mha4mysql-node-0.57]# make install
- 仅mha_manager服务器安装manager组件
'在MHA-manager上安装manager组件(!注意:一定要先安装node组件才能安装manager组件)'
[root@manager mha4mysql-node-0.57]# cd /opt
[root@manager opt]# tar -zxvf mha4mysql-manager-0.57.tar.gz
[root@manager opt]# cd mha4mysql-manager-0.57/
[root@manager mha4mysql-manager-0.57]# perl Makefile.PL
[root@manager mha4mysql-manager-0.57]# make
[root@manager mha4mysql-manager-0.57]# make install
2.4.11：检查生成的配置文件
[root@mha mha4mysql-manager-0.57]# ls /usr/local/bin
masterha_check_ssh '检查MHA 的SSH 配置状况'
masterha_check_repl'检查MySQL复制状况'
masterha_manger'启动manager的脚本'
masterha_check_status'检测当前MHA运行状态'
masterha master_monitor'检测master是否宕机'
masterha_master_switch'控制故障转移(自动或者手动)'
masterha_conf_host'添加或删除配置的server信息'
masterha stop '关闭manager'
- node安装后也会在/usr/local/bin下面会生成几个脚本(这些工具通常由MHA
Manager的脚本触发，无需人为操作）主要如下:
save_binary_logs '保存和复制master的二进制日志'
apply_diff_relay_logs '识别差异的中继日志事件并将其差异的事件应用于其他的slave'
filter_mysqlbinlog '去除不必要的ROLLBACK事件(MHA已不再使用这个工具)'
purge_relay_logs '清除中继日志(不会阻塞SQL线程)'
2.4.12：配置无密码认证
- 在manager上配置到所有数据库节点的无密码认证
[root@mha mha4mysql-manager-0.57]# cd
[root@mha~]# ssh-keygen -t rsa
'创建非对称密钥对'
'因为想要免密登陆，所以三个都直接回车就行，不需要设置密码'
[root@mha ~]# ssh-copy-id 20.0.0.51
[root@mha ~]# ssh-copy-id 20.0.0.52
[root@mha ~]# ssh-copy-id 20.0.0.47
- 在master上配置到数据库节点2和3的无密码认证
[root@mysql1 mha4mysql-node-0.57]# cd ~
[root@mysql1 ~]# ssh-keygen -t rsa
[[root@mysql1 ~]# ssh-copy-id 20.0.0.52
[root@mysql1 ~]# ssh-copy-id 20.0.0.47
- 在mysql2上配置到数据库节点mysql3和mysql1的无密码认证
[root@mysql2 mha4mysql-node-0.57]# cd ~
[root@mysql2 ~]# ssh-keygen -t rsa
[root@mysql2 ~]# ssh-copy-id 20.0.0.51
[root@mysql2 ~]# ssh-copy-id 20.0.0.47
- 在mysql3上配置到数据库节点mysql1和mysql2的无密码认证
[root@mysql3 mha4mysql-node-0.57]# cd ~
[root@mysql3 ~]# ssh-keygen -t rsa
[root@mysql3 ~]# ssh-copy-id 20.0.0.51
[root@mysql3 ~]# ssh-copy-id 20.0.0.52
2.4.13：配置MHA
- 在manager节点上复制相关脚本到/usr/local/bin目录。
[root@manager ~]# cp -ra /opt/mha4mysql-manager-0.57/samples/scripts /usr/local/bin
'拷贝后会有四个执行文件'
[root@manager ~]# ll /usr/local/bin/scripts/
总用量 32
-rwxr-xr-x 1 1001 1001 3648 5月 31 2015 master_ip_failover '自动切换时VIP管理的脚本'
-rwxr-xr-x 1 1001 1001 9870 5月 31 2015 master_ip_online_change '在线切换时VIP的管理'
-rwxr-xr-x 1 1001 1001 11867 5月 31 2015 power_manager '故障发生后闭主机的脚本'
-rwxr-xr-x 1 1001 1001 1360 5月 31 2015 send_report '因故障切换后发送报警的脚本'
- 复制上述的自动切换时VIР管理的脚本到/usr/local/bin目录，这里使用脚本管理VIP
[root@mha ~]# cd /usr/local/bin/scripts/
[root@mha scripts]# ls
master_ip_failover power_manager
master_ip_online_change send_report
[root@mha scripts]# cp /usr/local/bin/scripts/master_ip_failover /usr/local/bin
- 修改master_ip_failover 脚本(删除原有内容，直接复制)
[root@manager /]#vim /usr/local/bin/master_ip_failover
#!/usr/bin/env perl '第一行要最顶行写，不要有空格'
use strict;
use warnings FATAL => 'all';
use Getopt::Long;
my (
$command, $ssh_user, $orig_master_host, $orig_master_ip,
$orig_master_port, $new_master_host, $new_master_ip, $new_master_port
);
#############################添加内容部分#########################################
my $vip = '20.0.0.200';
my $brdc = '20.0.0.255';
my $ifdev = 'ens33';
my $key = '1';
my $ssh_start_vip = "/sbin/ifconfig ens33:$key $vip";
my $ssh_stop_vip = "/sbin/ifconfig ens33:$key down";
my $exit_code = 0;
#my $ssh_start_vip = "/usr/sbin/ip addr add $vip/24 brd $brdc dev $ifdev label $ifdev:$key;/usr/sbin/arping -q -A -c 1 -I $ifdev $vip;iptables -F;";
#my $ssh_stop_vip = "/usr/sbin/ip addr del $vip/24 dev $ifdev label $ifdev:$key";
##################################################################################
GetOptions(
'command=s' => \$command,
'ssh_user=s' => \$ssh_user,
'orig_master_host=s' => \$orig_master_host,
'orig_master_ip=s' => \$orig_master_ip,
'orig_master_port=i' => \$orig_master_port,
'new_master_host=s' => \$new_master_host,
'new_master_ip=s' => \$new_master_ip,
'new_master_port=i' => \$new_master_port,
);
exit &main();
sub main {
print "\n\nIN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===\n\n";
if ( $command eq "stop" || $command eq "stopssh" ) {
my $exit_code = 1;
eval {
print "Disabling the VIP on old master: $orig_master_host \n";
&stop_vip();
$exit_code = 0;
};
if ($@) {
warn "Got Error: $@\n";
exit $exit_code;
}
exit $exit_code;
}
elsif ( $command eq "start" ) {
my $exit_code = 10;
eval {
print "Enabling the VIP - $vip on the new master - $new_master_host \n";
&start_vip();
$exit_code = 0;
};
if ($@) {
warn $@;
exit $exit_code;
}
exit $exit_code;
}
elsif ( $command eq "status" ) {
print "Checking the Status of the script.. OK \n";
exit 0;
}
else {
&usage();
exit 1;
}
}
sub start_vip() {
`ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`;
}
# A simple system call that disable the VIP on the old_master
sub stop_vip() {
`ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;
}
sub usage {
print
"Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";
}
- 创建MHA软件目录并拷贝配置文件
[root@MHA-manager ~]# mkdir /etc/masterha
[root@MHA-manager~]# cp /opt/mha4mysql-manager-0.57/samples/conf/app1.cnf /etc/masterha
[root@MHA-manager ~]# vim /etc/masterha/app1.cnf
'直接替换文件内容'
[server default]
manager_log=/var/log/masterha/app1/manager.log
manager_workdir=/var/log/masterha/app1
master_binlog_dir=/usr/local/mysql/data
master_ip_failover_script=/usr/local/bin/master_ip_failover
master_ip_online_change_script=/usr/local/bin/master_ip_online_change
password=manager
ping_interval=1
remote_workdir=/tmp
repl_password=123
repl_user=myslave
secondary_check_script=/usr/local/bin/masterha_secondary_check -s 20.0.0.47 -s 20.0.0.52
shutdown script=""
ssh_user=root
user=mha
[server1]
hostname=20.0.0.51
port=3306
[server2]
hostname=20.0.0.52
port=3306
candidate_master=1
check_repl_delay=0
[server3]
hostname=20.0.0.47
port=3306
[root@mha scripts]# cd /etc/masterha/
[root@mha masterha]# ls
app1.cnf
[root@mha masterha]# cd /usr/local/bin/scripts/
[root@mha scripts]# cp master_ip_online_change ../
[root@mha scripts]# cd ../
[root@mha bin]# ls
[root@mha bin]# cd scripts/
[root@mha scripts]# ls
master_ip_failover power_manager
master_ip_online_change send_report
[root@mha scripts]# cp send_report /usr/local/
[root@mha scripts]# ls /usr/local/
2.4.14：测试SSH与mysql主从连接
[root@mha scripts]# masterha_check_ssh -conf=/etc/masterha/app1.cnf
Thu Aug 27 23:43:52 2020 - [info] All SSH connection tests passed successfully.
- 验证主从复制
[root@mha scripts]# masterha_check_repl -conf=/etc/masterha/app1.cnf
MySQL Replication Health is OK.
2.4.15：配置虚拟IP，启动MHA
- 添加虚拟IP
[root@mha scripts]# /sbin/ifconfig ens33:1 20.0.0.200/24
- 开启manager 监控
[root@mha scripts]# nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha/app1/manager.log 2>&1 &
- 查看当前master 的节点
[root@mha scripts]# masterha_check_status --conf=/etc/masterha/app1.cnf
- 查看日志信息
[root@mha scripts]# cat /var/log/masterha/app1/manager.log
- 启用监控观察日志
[root@mha scripts]# tailf /var/log/masterha/app1/manager.log
2.4.16：模拟故障并验证
- 结束mysql1 的 mysql 进程
[root@mysql1 log]# pkill -9 mysqld
- 然后在mysql2 服务器上查看，虚拟IP果然漂移到它身上了
[root@mysql2 ~]# ifconfig
ens33:1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 20.0.0.200 netmask 255.0.0.0 broadcast 20.255.255.255
ether 00:0c:29:26:fd:0f txqueuelen 1000 (Ethernet)
2.4.17：尝试从客户端通过虚拟IP连接上数据库
- 直接在mha上安装mysql
[root@mha ~]# yum install mysql -y
- 在vip的数据库服务器上提取
[root@mysql2 ~]# mysql -uroot -p
Enter password:
mysql> grant all on *.* to 'root'@'%' identified by 'abc123';
- 在客户端访问虚拟端口测试
[root@kevin ~]# mysql -h 20.0.0.200 -uroot -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 15
Server version: 5.6.36-log Source distribution
Copyright (c) 2000, 2016, Oracle and/or its affiliates. All rights reserved.
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
mysql>
三：MHA配置文件app1.cnf详解
[server default]
'#manager配置文件'
manager_log=/var/log/masterha/app1/manager.log
'#manager日志'
manager_workdir=/var/log/masterha/app1
'#master保存binlog的位置，这里的路径要与master里配置的bilog的相同'
master_binlog_dir=/usr/local/mysql/data
'#设置自动failover时候的切换脚本。也就是上边的那个脚本'
master_ip_failover_script=/usr/local/bin/master_ip_failover
'#设置手动切换时候的切换脚本'
master_ip_online_change_script=/usr/local/bin/master_ip_online_change
'#这个密码是前文中创建监控用户的那个密码'
password=manager
remote_workdir=/tmp
'#设置复制用户密码'
repl_password=123
'#设置复制用户的用户'
repl_user=myslave
'#设置发生切换后发生报警的脚本'
secondary_check_script=/usr/local/bin/masterha_secondary_check -s 192.168.13.130 -s 192.168.13.131 '#指向两个从服务器的IP地址'
'#设置故障发生关闭故障脚本主机'
shutdown_script=""
'#设置ssh的登录用户名'
ssh_user=root
'#设置监控用户'
user=mha
[server1]
hostname=192.168.13.129 '#主服务器的IP地址'
port=3306
[server2]
candidate_master=1
'#设置为候选master，如果设置该参数以后，发送主从切换以后将会从此从库升级为主库'
hostname=192.168.13.130 '#候选master的IP地址'
check_repl_delay=0 '#默认情况下如果一个slave落后master 100M的relay logs的话，MHA将不会选择该slave作为一个新的master，因为对于这个slave的恢复需要花费很长时间，通过设置check_repl_delay=0,MHA触发切换在选择一个新的master的时候将会忽略复制延时，这个参数对于设置了candidate_master=1的主机非常有用，因为这个候选主在切换的过程中一定是新的master'
port=3306
[server3]
hostname=192.168.13.131 '#从服务器的IP地址'
port=3306