使用Heartbeat实现MySQL主从高可用
目录
一、Heartbeat简介
二、安装Heartbeat
1. 下载软件包
2. 初始配置
三、配置
1. 编辑配置文件ha.cf
2. 编辑认证文件authkeys
3. 编辑资源配置文件haresources
4. 创建MySQL服务检测脚本
四、测试
参考：
前面我们使用Keepalived实现MySQL主从复制的失败自动切换，参见“使用Keepalived实现MySQL主从高可用”。本篇介绍如何利用Heartbeat来完成相同的功能。从安装、配置、使用、维护等角度上对比，Keepalived都比Heartbeat简单得多，尤其是Heartbeat 2.1.4后拆分成3个子项目，安装、配置、使用都比较复杂。Heartbeat虽然复杂，但功能更强大，配套工具更全，适合做大型集群管理。
一、Heartbeat简介
通过Heartbeat，可以将资源（ip以及程序服务等资源）从一台已经故障的计算机快速转移到另一台正常运转的机器上继续提供服务，一般称之为高可用服务。官方网址：http://www.linux-ha.org/wiki/Heartbeat
通过修改Heartbeat的配置文件，可以指定一台Heartbeat服务器作为主服务器，另一台自动成为热备服务器。在热备服务器上面配置Heartbeat守护程序来监听来自主服务器的心跳信息。如果在规定时间内，无法监听到心跳信息，那么就启动故障转移，取得主服务器上的相关资源的所有权，接替主服务器继续不间断的提供服务，从而达到资源以及服务高可用的目的。一般故障切换时间在5~20s之间。Heartbeat还支持主主模式，及两台服务器互为主备。
另外，和Keepalived的服务一样，Heartbeat高可用是服务器级别的，不是服务级别的。它可以监测以下系统问题：
- 服务器宕机
- Heartbeat软件故障
- 心跳连接线故障
服务故障不会导致切换，但可以通过服务宕机把Heartbeat服务停掉，从而主机实现自动切换。至少需要两台主机才可以实现高可用服务。两台Heartbeat服务之间可以通过以下方式进行通信:
- 穿行电缆，所谓的串口（首选，缺点是距离不能太远）
- 一根以太网电缆两网卡直连（常用方式）
- 以太网电缆，通过交换机等网络设备连接。（交换机可能出现问题等）
Heartbeat通过ip地址接管和arp广播进行故障转移的。在主服务器故障时，备用节点接管资源后，会立即强制更新所有客户端本地的arp表，即清楚客户端本地缓存的故障服务器的vip和mac地址的解析记录，确保客户端和新的主服务器的对话。
真实ip，又被称为管理ip，一般指配置在物理网卡上面的ip。在负载均衡高可用环境中，管理ip是不对外提供访问服务的，仅作为管理服务器使用，如SSH可以通过这个进行服务连接管理。VIP是虚拟ip，实际上就是eth0:X，x为0~255的任意数字，可以在一个网卡上面绑定多个别名。VIP当主服务器故障时，可以自动漂移到备用服务器。
二、安装Heartbeat
环境：
CentOS Linux release 7.2.1511 (Core)
MySQL Master 172.16.1.126
MySQL Slave 172.16.1.127
VIP 172.16.1.100
MySQL主从复制配置从略。
安装Heartbeat源码安装需要依次安装Cluster Glue、Resource Agents和Heartbeat 三个软件，并且三个软件要安装在相同目录下。以下步骤均在172.16.1.126、172.16.1.127两台机器上用root用户操作。
1. 下载软件包
Heartbeat 3.0.6：http://hg.linux-ha.org/heartbeat-STABLE_3_0/archive/958e11be8686.tar.bz2
Cluster Glue 1.0.12：http://hg.linux-ha.org/glue/archive/0a7add1d9996.tar.bz2
Resource Agents 3.9.6：https://github.com/ClusterLabs/resource-agents/archive/v3.9.6.tar.gz
2. 初始配置
（1）禁用防火墙
在/etc/selinux/config文件中设置SELINUX=disabled，并执行：
systemctl disable firewalld（2）设置主机名
编辑/etc/hosts文件内容如下：
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
172.16.1.126 hdp3
172.16.1.127 hdp4 设置主机名：
在172.16.1.126上：
hostnamectl set-hostname hdp3在172.16.1.127上：
hostnamectl set-hostname hdp4（3）安装依赖包
yum -y install glib2-devel libtool-ltdl-devl net-snmp-devel bzip2-devel ncurses-devel openssl-devel libtool libxml2 libxml2-devel gettext bison flex zlib-devel mailx which libxslt docbook-dtds docbook-style-xsl PyXML shadow-utils opensp autoconf automake bzip2 e2fsprogs-devel libxslt-devel libtool-ltdl-devel make asciidoc libuuid-devel（4）建立用户
groupadd haclient
useradd -g haclient -M -s /sbin/nologin hacluster3. 安装Cluster Glue 1.0.12
bunzip2 0a7add1d9996.tar.bz2
tar -xf 0a7add1d9996.tar
cd Reusable-Cluster-Components-glue--0a7add1d9996
./autogen.sh
./configure --prefix=/usr/local/heartbeat && make && make install4. 安装Resource Agents 3.9.6
tar -zxf resource-agents-3.9.6.tar.gz
cd resource-agents-3.9.6
./autogen.sh
export CFLAGS="$CFLAGS -I/usr/local/heartbeat/include -L/usr/local/heartbeat/lib"
./configure --prefix=/usr/local/heartbeat/
ln -s /usr/local/heartbeat/lib/* /lib/
ln -s /usr/local/heartbeat/lib/* /lib64/
make && make install5. 安装Heartbeat 3.0.6
tar -vxjf 958e11be8686.tar.bz2
cd Heartbeat-3-0-958e11be8686/
./bootstrap
./configure --prefix=/usr/local/heartbeat/
make报错：
/usr/local/heartbeat/include/heartbeat/glue_config.h:105:0: error: "HA_HBCONF_DIR" redefined [-Werror]说明在glue.config.h中，宏HA_HBCONF_DIR被定义了多次，编辑glue_conf.h文件，注释掉最后一行定义宏的代码：
vi /usr/local/heartbeat/include/heartbeat/glue_config.h将如下的最后一行删除并保存退出。
#define HA_HBCONF_DIR "/usr/local/heartbeat/etc/ha.d/" # 继续编译安装，通过。
make && make install三、配置
cd /usr/local/heartbeat/share/doc/heartbeat
cp -a ha.cf authkeys haresources /usr/local/heartbeat/etc/ha.d/
cd /usr/local/heartbeat/etc/ha.d
chmod 600 etc/ha.d/authkeys
ln -svf /usr/local/heartbeat/lib64/heartbeat/plugins/RAExec/* /usr/local/heartbeat/lib/heartbeat/plugins/RAExec/
ln -svf /usr/local/heartbeat/lib64/heartbeat/plugins/* /usr/local/heartbeat/lib/heartbeat/plugins/ 需要编辑ha.cf、authkeys和haresources三个配置文件，文件位置为/usr/local/heartbeat/etc/ha.d/。
1. 编辑配置文件ha.cf
172.16.1.126上的ha.cf文件内容如下：
[root@hdp3~]#more /usr/local/heartbeat/etc/ha.d/ha.cf
# 保存调试信息文件
debugfile /var/log/ha-debug
# 日志文件
logfile /var/log/ha-log
# 表示使用系统日志
logfacility local0
# 心跳的时间间隔，单位秒
keepalive 1
# 超出该时间间隔未收到对方节点的心跳，则判定对方死亡
deadtime 30
# 超出该时间间隔未收到对方节点的心跳，则发出警告记录到日志中
warntime 10
# 在某系统上，系统启动或重启之后需要经过一段时间网络才能正常工作，该选项用于解决这种情况产生的时间间隔，取值至少为deadtime的2倍
initdead 120
# 设置广播通信使用的端口，694为默认使用的端口号
udpport 694
# 传播心跳的广播播网卡信息
bcast ens32
# 设置对方机器心跳检测的IP
ucast ens32 172.16.1.127
# 在该选项设为on的情况下，一旦主节点恢复运行，则自动获取资源并取代从节点
auto_failback off
# 配置主从的节点信息
node hdp3
node hdp4
# 如果ping不通该地址，就认为当前断网，需要转移vip
ping 172.16.1.254
# 指定与heartbeat一同启动和关闭的进程，该进程被自动监视，遇到故障则重新启动。最常用的进程是ipfail，该进程用于检测和处理网络故障，需要配合ping语句指定的ping node来检测网络连接。如果你的系统是64bit，请注意该文件的路径
respawn hacluster /usr/local/heartbeat/libexec/heartbeat/ipfail
# 指定用户和组
apiauth ipfail gid=haclient uid=hacluster172.16.1.127上的/usr/local/heartbeat/etc/ha.d/ha.cf文件除了以下两个配置项的信息外，其它和172.16.1.126的相同。
# 传播心跳的广播播网卡信息
bcast ens160
# 设置对方机器心跳检测的网卡和IP
ucast ens160 172.16.1.126 2. 编辑认证文件authkeys
172.16.1.126与172.16.1.127上的authkeys文件相同，内容如下：
[root@hdp3~]#more /usr/local/heartbeat/etc/ha.d/authkeys
auth 2
2 sha1 HI!3. 编辑资源配置文件haresources
所有节点的haresources文件必须相同，本例中只有一行：
[root@hdp3~]#more /usr/local/heartbeat/etc/ha.d/haresources
hdp3 172.16.1.100 mysqlhdp为主节点，172.16.1.100是VIP，mysql是主机启动后自动执行的自定义脚本文件名，所在目录为 haresources同级目录下的resource.d目录下。mysql文件内容只有一行：
[root@hdp3~]#more /usr/local/heartbeat/etc/ha.d/resource.d/mysql
/home/mysql/remove_slave.sh在主从切换后，原来的slave变为master，需要重置其slave状态，并将只读关闭。remove_slave.sh文件内容如下：
[root@hdp3~]#more /home/mysql/remove_slave.sh
#!/bin/bash
. /home/mysql/.bashrc
user=root
password=123456
log=/home/mysql/remove_slave.log
echo "`date`" >> $log
rm -rf /tmp/kill.sql
mysql -u$user -p$password -e "select * into outfile '/tmp/kill.sql' from (select concat('kill ',id,';') from information_schema.processlist where command='sleep' union all select 'set global read_only=OFF;' union all select 'stop slave;' union all select 'reset slave all;') t;"
mysql -u$user -p$password < /tmp/kill.sql >> $log
/bin/sed -i 's#read-only#\#read-only#' /home/mysql/mysql-5.6.14/my.cnf4. 创建MySQL服务检测脚本
[root@hdp3~]#more /home/mysql/mysql_check.sh
#!/bin/bash
. /home/mysql/.bashrc
count=1
while true
do
mysql -uroot -p123456 -S /data/mysql.sock -e "show status;" > /dev/null 2>&1
i=$?
ps aux | grep mysqld | grep -v grep > /dev/null 2>&1
j=$?
if [ $i = 0 ] && [ $j = 0 ]
then
sleep 3
else
if [ $i = 1 ] && [ $j = 0 ]
then
sleep 3
else
if [ $count -gt 5 ]
then
break
fi
let count++
continue
fi
fi
done
/etc/init.d/heartbeat stopmysql_check.sh脚本每三秒检测一次MySQL状态，如果本机MySQL不可用，怎关闭heartbeat服务，是VIP漂移到对方主机。先将该文件放到crontab中自动执行，待启动后再将其从crontab中去掉即可。
172.16.1.126、172.16.1.127上的mysql、remove_slave.sh、mysql_check.sh三个脚本文件相同。
四、测试
1. 启动两个主机的heartbeat服务
在我们这个场景中，一定要注意两个主机的heartbeat服务的启动顺序，要先启动172.16.1.127，再启动172.16.1.126。如果反过来先启动172.16.1.126，则再启动172.16.1.127时，hdp3获得VIP资源，会执行本地的mysql脚本。这时将会调用remove_slave.sh，重置172.16.1.127在MySQL主从复制中slave角色，以前的复制就失效了，那就必须要重建复制了。
chkconfig heartbeat on
systemctl start heartbeat2. 查看VIP
172.16.1.126、172.16.1.127上的IP分别如图1、图2所示。
图1
图2
可以看到，初始VIP绑定在172.16.1.126上。
3. 查看客户端连接
C:\WINDOWS\system32>mysql -utest -p123456 -h172.16.1.100 -e "show variables like 'server_id'"
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id | 126 |
+---------------+-------+
C:\WINDOWS\system32>可以看到，现在客户端通过VIP连接到master上。
4. 查看172.16.1.127上slave的状态
mysql> show slave status\G
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 172.16.1.126
Master_User: repl
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000005
Read_Master_Log_Pos: 120
Relay_Log_File: hdp4-relay-bin.000015
Relay_Log_Pos: 283
Relay_Master_Log_File: mysql-bin.000005
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
Replicate_Do_DB:
Replicate_Ignore_DB:
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 120
Relay_Log_Space: 618
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: No
Master_SSL_CA_File:
Master_SSL_CA_Path:
Master_SSL_Cert:
Master_SSL_Cipher:
Master_SSL_Key:
Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
Last_IO_Errno: 0
Last_IO_Error:
Last_SQL_Errno: 0
Last_SQL_Error:
Replicate_Ignore_Server_Ids:
Master_Server_Id: 126
Master_UUID: fadd5b7d-7d9f-11e8-90b4-13ccc7802b56
Master_Info_File: /data/master.info
SQL_Delay: 0
SQL_Remaining_Delay: NULL
Slave_SQL_Running_State: Slave has read all relay log; waiting for the slave I/O thread to update it
Master_Retry_Count: 86400
Master_Bind:
Last_IO_Error_Timestamp:
Last_SQL_Error_Timestamp:
Master_SSL_Crl:
Master_SSL_Crlpath:
Retrieved_Gtid_Set:
Executed_Gtid_Set:
Auto_Position: 0
1 row in set (0.00 sec)
mysql> 5. 杀掉master的mysqld进程
在172.16.1.126上用root执行：
pkill -9 mysqld6. 查看VIP
172.16.1.126、172.16.1.127上的IP分别如图3、图4所示。
图3
图4
可以看到，VIP已经漂移到172.16.1.127上。
7. 查看客户端连接
C:\WINDOWS\system32>mysql -utest -p123456 -h172.16.1.100 -e "show variables like 'server_id'"
mysql: [Warning] Using a password on the command line interface can be insecure.
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id | 127 |
+---------------+-------+
C:\WINDOWS\system32>可以看到，现在客户端通过VIP连接到slave上。
8. 查看172.16.1.127上slave的状态
mysql> show slave status\G
ERROR 2006 (HY000): MySQL server has gone away
No connection. Trying to reconnect...
Connection id: 7333
Current database: *** NONE ***
Empty set (0.00 sec)
mysql> show slave status\G
Empty set (0.00 sec)
mysql> show variables like 'read-only';
Empty set (0.00 sec)
mysql> show variables like 'read_only';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| read_only | OFF |
+---------------+-------+
1 row in set (0.00 sec)
mysql>可以看到，slave状态已经被重置，read_only也已经关闭。配置文件中的read-only参数也已经注释。
[mysql@hdp4~]$more /home/mysql/mysql-5.6.14/my.cnf
[mysqld]
basedir = /home/mysql/mysql-5.6.14
datadir=/data
skip-name-resolve
user=mysql
binlog_format=row
default-storage-engine=InnoDB
transaction_isolation = READ-COMMITTED
log-bin=/data/mysql-bin
log-bin-index = /data/mysql-bin.index
tmpdir = /data
server-id = 127
innodb_data_home_dir = /data
innodb_log_group_home_dir=/data
sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
# plugin-load=rpl_semi_sync_master=semisync_master.so
# rpl_semi_sync_master_enabled=1
#read-only至此完成了MySQL自动主从切换，整个过程对客户端透明。
参考：
- Heartbeat高可用解决方案
- rhel7 下安装 Heartbeat 3.0.6