实现Mysql数据库高可用（MHA）

1.MHA

MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本DeNA公司youshimaton（现就职于 Facebook公司）开发，是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。在MySQL故障切换过程中，MHA能做到在 0~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换的过程中，MHA能在最大程度上保证数据的一致性，以达到真正意义上的高可用。
该软件由两部分组成：MHA Manager（管理节点）和MHA Node（数据节点）。MHA Manager可以单独部署在一台独立的机器上管理多个master-slave集群，也可以部署在一台slave节点上。MHA Node运行在每台MySQL服务器上，MHA Manager会定时探测集群中的master节点，当master出现故障时，它可以自动将最新数据的slave提升为新的master，然后将所有其他的slave重新指向新的master。整个故障转移过程对应用程序完全透明
在MHA自动故障切换过程中，MHA试图从宕机的主服务器上保存二进制日志，最大程度的保证数据的不丢失，但这并不总是可行的。例如，如果主服务器 硬件故障或无法通过ssh访问，MHA没法保存二进制日志，只进行故障转移而丢失了最新的数据。使用MySQL 5.5的半同步复制，可以大大降低数据丢失的风险。MHA可以与半同步复制结合起来。如果只有一个slave已经收到了最新的二进制日志，MHA可以将最 新的二进制日志应用于其他所有的slave服务器上，因此可以保证所有节点的数据一致性。
目前MHA主要支持一主多从的架构，要搭建MHA,要求一个复制集群中必须最少有三台数据库服务器，一主二从，即一台充当master，一台充当备用master，另外一台充当从库，因为至少需要三台服务器，出于机器成本的考虑，淘宝也在该基础上进行了改造，目前淘宝TMHA已经支持一主一从

2.备份数据

像所有数据一样，MySQL的数据也必须经常备份。由于MySQL数据库是基于磁盘的文件，普通的备份系统和例程就能备份MySQL的数据。但是，由于这些文件总是处于打开和使用状态，普通的文件副本备份不一定总是有效。
所以，使用命令行实用程序mysqldump转储所有数据库内容到某个外部文件。在进行常规备份前这个实用程序应该正常运行，以便能正确地备份转储文件

3.实验环境

server1（172.25.254.1）MHA node,作为master
server2（172.25.254.2）MHA node,作为slave和备用master
server3（172.25.254.3）MHA node,作为slave
server4（172.25.254.4）MHA manager

4.实现Mysql数据库高可用

（1）MHA是需要保证mysql服务器主机都是配置为主从复制和半同步复制，所以将server1，server2，server3配置为主从复制和半同步复制
在1,2,3节点的配置文件末添加以下内容

log-bin=mysql-bin
server-id=1
gtid_mode=ON
enforce-gtid-consistency=ON
log_slave_updates=ON	##因为所有的节点都有可能作为master，所以要让它们也要去更新relay-log
log_bin=binlog

安装半同步所需插件，插件安装好后，重启io线程
详细配置在前边博客
（2）在server4主机配置高可用，在这台主机上安装MHA的软件包，直接yum安装

（3）配置免密登录其它三台主机，生成ssh密钥，将生成的公钥和私钥传给数据节点

[root@server4 ~]# ssh-keygen -f /root/.ssh/id_rsa -P "" 	##生成密钥
##对三台mysql服务器进行加密
[root@server4 ~]# ssh-copy-id 172.25.254.1
[root@server4 ~]# ssh-copy-id 172.25.254.2
[root@server4 ~]# ssh-copy-id 172.25.254.3

加密设置完成后，将server4主机家目录下的.ssh文件传到其他3台主机的家目录下，这样所有的主机就都是免密连接

（4）测试：免密登陆

[root@server4 ~]# ssh  [email protected]
[root@server4 ~]# ssh  [email protected]
[root@server4 ~]# ssh  [email protected]

（5）将mha4mysql-node-0.58-0.el7.centos.noarch.rpm 安装包传给数据节点，在3台mysql服务器上安装




（6）管理节点创建一个目录，编辑配置文件

[root@server4 MHA-7]# mkdir /etc/masterha
[root@server4 MHA-7]# vim  /etc/masterha/master.cnf
[server default]
manager_workdir=/etc/masterha	##指定工作目录
manager_log=/var/log/masterha.log	##指定日志存放路径
master_binlog_dir=/etc/masterha	##指定binlog存放路径

password=Red1hat*
user=root
ping_interval=1	##隔1秒试一次
remote_workdir=/tmp	##临时存放目录
repl_user=repl	##复制所用的用户
repl_password=Red1hat*	##复制所用的用户的密码
ssh_user=root	##指定mysql服务器主机

[server1]
hostname=172.25.254.1
port=3306

[server2]
hostname=172.25.254.2
port=3306
candidate_master=1	##master候选主机
check_repl_delay=0

[server3]
hostname=172.25.254.3	
port=3306
no_master	##设置这台主机不会成为master节点

（7）管理节点ssh检查

[root@server4 ~]# masterha_check_ssh --conf=/etc/masterha/master.cnf

（8）数据节点授权
server1： 所有权限

mysql> grant all on *.* to root@'%' identified by 'Red1hat*';

server2 和 server3： 只读

mysql> set global read_only=1;

（9）管理节点环境健康检查

[root@server4 ~]# masterha_check_repl --conf=/etc/masterha/master.cnf

（10）手动替换master
关闭当前的master节点的mysql服务

手动替换master节点
中间输入三次yes，手动替换成功




开启server1的mysql服务，将master改为server2

[root@server1 ~]# systemctl start mysqld
[root@server1 ~]# mysql -uroot -p
mysql> CHANGE MASTER TO MASTER_HOST='172.25.254.2',MASTER_USER='repl',MASTER_PASSWORD='Red1hat*',MASTER_AUTO_POSITION=1;   
mysql> start slave;##  打开slave

测试：server2是master

server1:
mysql> show slave status\G;

手动切换master节点（所有数据库都在线时）

（1）删除故障文件

[root@server4 masterha]# ls
[root@server4 masterha]# rm -fr   master.failover.complete
[root@server4 masterha]# ls

（2）输入命令替换

masterha_master_switch --conf=/etc/masterha/master.cnf --master_state=alive --
new_master_host=172.25.254.1 --new_master_port=3306 --orig_master_is_new_slave --
running_updates_limit=10000

输入三次yes



（3）测试

server1: 查看不到，它已经是当前的master
server2和server3： master是server1
mysql> mysql> show slave status\G;

注意：每一次切换都会生成一个master.failover.complete文件（简称故障文件），要将这个文件删除，再进行接下来的实验，否则会出错

手动切换（关闭主节点所在主机mysqld时）

(1）server4创建一个检测进程

nohup masterha_manager --conf=/etc/masterha/masterha.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha.log 2>&1 &

（2）当前master节点server1主机关闭myslq服务

（3）server4上监控进程done停止

（4）server2上查看不到，已变成新的master

server3上查看到master是server2

server1开启mysqld

[root@server1 ~]# mysql -uroot -p
mysql> CHANGE MASTER TO MASTER_HOST='172.25.254.2',MASTER_USER='repl',MASTER_PASSWORD='Redhat*',MASTER_AUTO_POSITION=1;
mysql> start slave;	##开启slave
mysql> show slave status\G;	##查看master是server2

绑定vip切换（vip漂移）

（1）server4获取两个脚本文件：master_ip_failover，master_ip_online_change
放到/usr/local/bin目录下

（2）编辑配置这两个文件

vim /usr/local/bin/master_ip_failover
vim /usr/local/bin/master_ip_online_change

（3）给两个脚本加上可执行权限

（4）编辑server4配置文件，vim /etc/masterha/master.cnf
加入如下两行代码

master_ip_failover_script= /usr/local/bin/master_ip_failover
master_ip_online_change_script= /usr/local/bin/master_ip_online_change

再次将server1加入集群

（5）给server2（当前master）添加一个vip172.25.254.100

（6）server4 手动切换master到server1(vip漂移到server1)

[root@server4 bin]# masterha_master_switch --conf=/etc/masterha/master.cnf 
--master_state=alive --new_master_host=172.25.254.1 --new_master_port=3306
 --orig_master_is_new_slave --running_updates_limit=10000

输入三次yes


172.25.254.100在server2上被禁用，漂移到server1上


（7）查看结果
server1可以查看到vip

server2上的vip自动删除

在server1、server2、server3查看master是server1

vip自动切换

（1）创建监控master的进程

（2）server1关闭mysql服务

监控master的进程挂掉

（3）测试
server1上没查看到vip

server2上可以查看到vip

server3查看到master是server2

查看MHA日志,vip漂移到server2上，server2是master

注意：
创建监控master的进程，会实时监控master节点状态，当master节点出现故障（宕机）
管理节点（server4）就会自动执行/usr/local/bin下的两个脚本，在正常运行的节点中选择一个最新的来作为新的master节点，同时当前的进程会挂掉，它监控的master不在当前集群里