为什么80%的码农都做不了架构师?>>>
线上mysql数据库不停机的环境下,如何添加新的从机 — mysqldump
在上一篇博文中,提到使用xtrabackup工具来实现热备,这篇我通过mysqldump来实现在线添加从机
一.目前的基本环境:
主DB:192.168.1.101
从DB1:192.168.1.102
从DB2:192.168.1.100(准备在线添加做为从机的mysql数据库)
数据库版本:mysql 5.1.61(select version())
服务器版本:red hat linux 6
注:目前主从正常(show slave status\G),同步的数据库为 login
同步的表为innodb引擎的表
注:思路是备份,可是用mysqldump备份会锁表,如果数据量很大的话,线上环境肯定不允许使用mysqldump备份
所以,我们采用的xtrabackup来进行在线热备,至于,它的原理,请各位自行google
二.部署实例:
1.主DB,线上数据正常写入的同时我实施备份
- # 使用mysqldump进行备份,使用--master-data参数:此值有1和2,大家可以自己google以下
- [root@client101 ~]# mysqldump -uroot -pkongzhong --opt --hex-blob --single_transaction -R --default-character-set=utf8 --master-data=2 login>/tmp/login.sql
- # 再开一个端口,插入数据
- mysql> insert into a select * from a;
- # 备份完毕后,我们查看刚才的备份发现,master的日志文件和pos号
- [root@client101 ~]# grep -i "change master" /tmp/login.sql
- -- CHANGE MASTER TO MASTER_LOG_FILE='mysql-101-bin.000007', MASTER_LOG_POS=107;
- # 我刚才在备份的时候也插入数据的,我再看看主上实际的日志文件和pos号
- mysql> show master status;
- +----------------------+----------+--------------+------------------+
- | File | Position | Binlog_Do_DB | Binlog_Ignore_DB |
- +----------------------+----------+--------------+------------------+
- | mysql-101-bin.000007 | 532 | | |
- +----------------------+----------+--------------+------------------+
- # 现在我们利用备份还原,利用备份的里的pos号,看能否追上主
2.备份完成后,将数据传送到需要作为新从机的DB server(192.168.1.100)上用于在上面进行还原
- [root@client101 ~]# scp /tmp/login.sql 192.168.1.100:/tmp
3.从DB2上,使用刚才的备份,并用于恢复
- [root@client100 tmp]# mysql -uroot -pkongzhong login
- # 修改配置文件:/etc/my.cnf
- replicate-wild-do-table=login.%
- innodb_file_per_table=1
- report-host=192.168.1.100
- innodb_lock_wait_timeout=1
- expire_logs_days= 3
- max_binlog_size= 100M
- server-id=100
- # 重新启动数据库
- [root@client103 mysql]# /etc/init.d/mysqld restart
4.将从DB2的主机指向主DB1
- # 备份文件里有备份时的master日志文件和pos号
- [root@client100 ~]# grep -i "change master" /tmp/login.sql
- -- CHANGE MASTER TO MASTER_LOG_FILE='mysql-101-bin.000007', MASTER_LOG_POS=107;
- # 建立主从关系
- mysql> change master to master_host='192.168.1.101',
- -> master_user='slave',
- -> master_password='slave',
- -> master_log_file='mysql-101-bin.000007',
- -> master_log_pos=107;
- # 开启同步
- mysql> start slave;
- # 查看同步状态
- mysql> show slave status\G;
5.此时如果都为yes,则主从则建立完毕!发现数据已经追上从机了
大家可以自行测试!
线上mysql数据库不停机的环境下,如何添加新的从机 — innobackupex
在工作中,主从环境搭的多了,但是,基本上都是在DB SERVER停机(游戏公司)的情况下搭建的,今天突然被一技术官问,如何在线添加主从,回答的大概思路,但是没有实践过,下面,我就测试一下。各位也可以先想想自己的思路:mysql 5.1版本,二进制日志文件(时间长了,有些二进制日志定期清除了),pos号
注:在mysql 5.6版本中,已经有基于GTID的主从复制(即:不需要知道日志文件和position号),只需还原最新的备份就可实现,这里只讨论mysql 5.1
一.目前的基本环境:
主DB:192.168.1.101
从DB1:192.168.1.102
从DB2:192.168.1.103(准备在线添加做为从机的mysql数据库)
数据库版本:mysql 5.1.61(select version())
服务器版本:red hat linux 6
注:目前主从正常(show slave status\G),同步的数据库为 login
3台DB server的备份软件(xtrbackup)都已经安装完成
同步的表为innodb引擎的表,不然用xtrabackup还是会锁表
假设环境为:现在login库下的表a,备份的时候插入数据,最终行为5418272
注:思路是备份,可是用mysqldump备份会锁表,如果数据量很大的话,线上环境肯定不允许使用mysqldump备份
所以,我们采用的xtrabackup来进行在线热备,至于,它的原理,请各位自行google
二.部署实例:
1.主DB,线上数据正常写入的同时我实施备份
- mysql> insert into a select * from a;
- [root@client101 backup]# innobackupex --user=root --password=kongzhong --defaults-file=/etc/my.cnf --port=3306 --database=login /tmp/backup/ >/tmp/backup/innoback.log 2>&1
- # 备份完成后,可以查看备份文件目录下, xtrabackup_binlog_info 此文件会记录主上的日志和position号
- [root@client101 2014-02-22_07-43-36]# cat xtrabackup_binlog_info
2.将备份文件压缩,并传送到从DB2(192.168.1.103)上,用于在上面进行还原
- [root@client101 backup]# tar zcvf login.tar 2014-02-22_07-43-36
- [root@client101 backup]# scp login.tar 192.168.1.103:/tmp/
3.从DB2上,解压刚才的备份,并用于恢复
- [root@client103 tmp]# tar -xf login.tar
- # 应用日志,保证数据一致
- [root@client103 tmp]# innobackupex --apply-log /tmp/2014-02-22_07-43-36/
- # 停mysql
- [root@client103 mysql]# /etc/init.d/mysqld stop
- # mysql数据目录下的所有文件移到/tmp/mysqlbackup/下,不然,恢复有问题
- # [这里建议只复制数据文件,不建议复制(日志,索引,innodb共享表空间,innodb日志文件,慢日志等)]
- [root@client103 mysql]# mv /var/lib/mysql/* /tmp/mysqlback
- # 恢复数据
- [root@client103 mysql]# innobackupex --copy-back /tmp/2014-02-22_07-43-36/
- # 将原数据库的内容复制mysql数据目录(这里就是我认为这个软件不好的地方,大家也可以给点建议)
- [root@client103 mysqlback]# mv /tmp/mysqlbac k/* /var/lib/mysql/
- # 将数据目录的权限修改为mysql权限
- [root@client103 mysql]# chown mysql. /var/lib/mysql/
- # 启动数据库
- [root@client103 mysql]# /etc/init.d/mysqld start
- # 验证数据的一致性:5418272(主上的行)
- mysql> select count(*) from a;
- +----------+
- | count(*) |
- +----------+
- | 5418272 |
- +----------+
4.将从DB2的主机指向主DB1
- # 刚才回复后,会有个文件:xtrabackup_binlog_pos_innodb --> 此文件记录了备份时日志文件和pos号
- [root@client103 mysql]# cat xtrabackup_binlog_pos_innodb
- /var/lib/mysql/mysql-101-bin.000008 2423
- # 建立主从关系
- mysql> change master to master_host='192.168.1.101',
- -> master_user='slave',
- -> master_password='slave',
- -> master_log_file='mysql-101-bin.000008',
- -> master_log_pos=2423;
- # 开启同步
- mysql> start slave;
- # 查看同步状态
- mysql> show slave status\G;
5.此时如果都为yes,则主从则建立完毕!大家可自行测试
注:
还有一种方式在线添加主从,即原本的从机只做冗余,可以在从机暂时停止主从,
然后,在从机上执行备份,看当前从机上,日志执行到哪个文件,哪个位置(master的日志文件和pos号)