Openstack 的控制节点使用了3个节点的Mariadb Galera Cluster集群。当Mariadb集群因故障重启时,有时会遇到Mariadb Galera Cluster集群无法正常启动的情况。有很多方式能将数据库拉起,但是如何做到快速启动,又不丢失数据呢?
经分析日志发现Mariadb Galera Cluster节点宕机时会在日志中打印出如下信息:
[Note] WSREP: New cluster view: global state: 874d8e7e-5980-11e8-8c23-83493ba049c2:3111, view# -1: non-P
rimary, number of nodes: 0, my index: -1, protocol version 3
对比三个节点日志中的
New cluster view: global state状态,可知道那个节点中的数据是最新的。
用这个最新的节点中的数据以wsrep_new_cluster的方式将数据拉起即可。
[mysql@test45 logs]$ grep "New cluster view" mariadb.log |awk -F: 'END { print $1":"$2":"$3 $6":"$7}'
180518 14:59:00 [Note] WSREP 874d8e7e-5980-11e8-8c23-83493ba049c2:2840, view# 3
[mysql@test44 logs]$ grep "New cluster view" mariadb.log |awk -F: 'END { print $1":"$2":"$3 $6":"$7}'
180518 15:55:03 [Note] WSREP 874d8e7e-5980-11e8-8c23-83493ba049c2:3068, view# 4
[mysql@test43 logs]$ grep "New cluster view" mariadb.log |awk -F: 'END { print $1":"$2":"$3 $6":"$7}'
180518 15:55:41 [Note] WSREP 874d8e7e-5980-11e8-8c23-83493ba049c2:3111, view# -1
所以 [mysql@test43 logs]$ 上的874d8e7e-5980-11e8-8c23-83493ba049c2:3111 节点上的数据是最新的。
修改【mysql@test43】节点$datadir 目录下的grastate.dat 文件。
将seqno设置为3111。
safe_to_bootstrap设置为1
[mysql@test43 script]$more grastate.dat
# GALERA saved state
version: 2.1
uuid: 874d8e7e-5980-11e8-8c23-83493ba049c2
seqno: -1
safe_to_bootstrap: 0
修改为:
[mysql@test43 data]$ vim ../data/grastate.dat
# GALERA saved state
version: 2.1
uuid: 874d8e7e-5980-11e8-8c23-83493ba049c2
seqno: 3111
safe_to_bootstrap: 1
注意:在启动数据库前,最好对数据目录做备份,以防万一出问题可以还原事故现场。
1. 在【mysql@test43】节点以wsrep_new_cluster的方式启动mysql
mysqld_safe --defaults-file=/data/conf/my.cnf --user=mysql --wsrep_new_cluster &
2.以正常方式启动其它两个节点
mysqld_safe --defaults-file=/data/conf/my.cnf --user=mysql&
根据这两个节点数据的情况,会做SST 或IST.
如果数据库是以docker拉起的,可以修改my.cnf 配置文件中的wsrep_cluster_address 参数,启动mysql。
如将 wsrep_cluster_address = gcomm://172.x.x.100:4567,172.x.x.101::4567,172.x.x.102::4567
调整为:wsrep_cluster_address = gcomm://
docker start mariadb
待集群正常启动后,切记还恢复wsrep_cluster_address 参数设置。