随着数据量不断的增加,由单台Mysql作为独立的数据库有的时候是不能满足实际需求的,无论是在安全性,高可用性以及高并发等各个方面。
因此,一般来说都是通过主从复制(Master-Slave)的方式来同步数据,再通过读写分离(MySQL-Proxy)来提升数据库的并发负载能力这样的方案来进行部署与实施的。
使用mysql主从复制的好处有:
1、采用主从服务器这种架构,稳定性得以提升。如果主服务器发生故障,我们可以使用从服务器来提供服务。
2、在主从服务器上分开处理用户的请求,可以提升数据处理效率。
3、将主服务器上的数据复制到从服务器上,保护数据免受意外的损失。
如下图所示:
下面是我在实际工作过程中所整理的笔记,在此分享出来,以供大家参考。
一、MySQL的安装与配置
具体的安装过程,建议参考我的这一篇文章:http://www.yzswyl.cn/blread-1639.html
值得一提的是,我的安装过程都是源码包编译安装的,并且所有的配置与数据等都统一规划到了/opt/mysql目录中,因此在一台服务器上安装完成以后,可以将整个mysql目录打包,然后传到其它服务器上解包,便可立即使用。
二、MySQL主从复制(全部复制)
场景描述:
主数据库服务器:192.168.10.130,MySQL已经安装,并且无应用数据。
从数据库服务器:192.168.10.131,MySQL已经安装,并且无应用数据。
2.1 主服务器上进行的操作
$ vi /opt/mysql/etc/my.cnf [mysqld] log-bin=mysql-bin //[必须]启用二进制日志 server-id=130 //[必须]服务器唯一ID,默认是1,一般取IP最后一段
#启动mysql服务 /opt/mysql/init.d/mysql start #通过命令行登录管理MySQL服务器 /opt/mysql/bin/mysql -uroot -p'new-password' #授权给从数据库服务器192.168.10.131 mysql> GRANT REPLICATION SLAVE ON *.* to 'rep1'@'192.168.10.131' identified by ‘password’; #查询主数据库状态 Mysql> show master status; +------------------+----------+--------------+------------------+ | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | +------------------+----------+--------------+------------------+ | mysql-bin.000005 | 261 | | | +------------------+----------+--------------+------------------+
记录下 FILE 及 Position 的值,在后面进行从服务器操作的时候需要用到。
2.2 配置从服务器
$ vi /opt/mysql/etc/my.cnf [mysqld] log-bin=mysql-bin //[必须]启用二进制日志 server-id=131 //[必须]服务器唯一ID,默认是1,一般取IP最后一段
#启动mysql服务 /opt/mysql/init.d/mysql start #通过命令行登录管理MySQL服务器 /opt/mysql/bin/mysql -uroot -p'new-password' #执行同步SQL语句 mysql> change master to master_host=’192.168.10.130’, master_user=’rep1’, master_password=’password’, master_log_file=’mysql-bin.000005’, master_log_pos=261; #正确执行后启动Slave同步进程 mysql> start slave; #主从同步检查 mysql> show slave status\G ============================================== **************** 1. row ******************* Slave_IO_State: Master_Host: 192.168.10.130 Master_User: rep1 Master_Port: 3306 Connect_Retry: 60 Master_Log_File: mysql-bin.000005 Read_Master_Log_Pos: 415 Relay_Log_File: localhost-relay-bin.000008 Relay_Log_Pos: 561 Relay_Master_Log_File: mysql-bin.000005 Slave_IO_Running: YES Slave_SQL_Running: YES Replicate_Do_DB: ……………省略若干…………… Master_Server_Id: 1 1 row in set (0.01 sec) ==============================================
其中Slave_IO_Running 与 Slave_SQL_Running 的值都必须为YES,才表明状态正常。
注意:如果主服务器已经存在应用数据,则在进行主从复制时,需要做以下处理:
(1)主数据库进行锁表操作,不让数据再进行写入动作
mysql> FLUSH TABLES WITH READ LOCK;
(2)查看主数据库状态
mysql> show master status;
(3)记录下 FILE 及 Position 的值。
将主服务器的数据文件(整个/opt/mysql/data目录)复制到从服务器,建议通过tar归档压缩后再传到从服务器解压。
(4)取消主数据库锁定
mysql> UNLOCK TABLES;
2.3 验证主从复制效果
主服务器上的操作
#在主服务器上创建数据库first_db mysql> create database first_db; Query Ok, 1 row affected (0.01 sec) #在主服务器上创建表first_tb mysql> create table first_tb(id int(3),name char(10)); Query Ok, 1 row affected (0.00 sec) #在主服务器上的表first_tb中插入记录 mysql> insert into first_tb values (001,’myself’); Query Ok, 1 row affected (0.00 sec)
在从服务器上查看
mysql> show databases; ============================= +--------------------+ | Database | +--------------------+ | information_schema | | first_db | | mysql | | performance_schema | | test | +--------------------+ 5 rows in set (0.01 sec) ============================= #数据库first_db已经自动生成 mysql> use first_db Database chaged mysql> show tables; ============================= +--------------------+ | Tables_in_first_db | +--------------------+ | first_tb | +--------------------+ 1 row in set (0.02 sec) ============================= #数据库表first_tb也已经自动创建 mysql> select * from first_tb; ============================= +------+------+ | id | name | +------+------+ | 1 | myself | +------+------+ 1 rows in set (0.00 sec) ============================= #记录也已经存在
由此,整个MySQL主从复制的过程就完成了。
三、MySQL主从复制复制部分库或表
这里跟全部复制不同的是主从服务器修改/etc/my.cnf配置的地方,这里只介绍不同的情况。
3.1 主服务器的配置
#在/etc/my.cnf配置文件: log-bin=mysql-bin # 启动二进制日志系统 server-id=130 # 本机数据库唯一ID log-bin=/var/log/mysql/updatelog # 设定生成log文件名,这里的路径没有要手动创建并给它mysql用户的权限。 binlog-do-db=test1 # 二进制需要同步的数据库名 binlog-ignore-db=mysql,test # 避免同步mysql用户配置,以免不必要的麻烦
3.2 从服务器的配置
#修改/etc/my.cnf 文件: server-id=131 #从服务器ID号,不要和主ID相同 master-host=192.168.20.155 #指定主服务器IP地址 master-user=replication #指定在主服务器上可以进行同步的用户名 master-password=123456 #密码 master-port=3306 # 同步所用端口 master-connect-retry=60 #断点从新连接时间 replicate-ignore-db=mysql #屏蔽对mysql库的同步 replicate-do-db=test1 #同步的数据库的名称 replicate_do_table = testa #同步的数据表的名称
replicate部分也可以这样写:
replicate-do-table=数据库名.表名 #如果要是复制多个表只要在下面直接添加(复制几个就添加几个) replicate-do-table=数据库名.表名
mysql replication单表或多表复制时需注意的几个问题:
1.主库和从库的数据库名必须相同;
2.主库和从库的复制可以精确到表,但是在需要更改主库或从库的数据结构时需要立刻重启slave;
3.不能在mysql配置文件里直接写入master的配置信息,需要用change master命令来完成;
4.指定replicate_do_db必须在my.ini里配置,不能用change master命令来完成;
5.如果不及时清理,日积月累二进制日志文件可能会把磁盘空间占满,可以在配置文件里加上expire_logs_days=7,只保留最近7天的日志,建议当slave不再使用时,通过reset slave来取消relaylog;
上面几条是在使用过程当中发现的律,不知道是否正确,有误之处,还望指点。
最后,编写一shell脚本,用nagios监控slave的两个“yes”,如发现只有一个或零个“yes”,就表明主从有问题了,发短信警报吧。
详情参考我的另一篇文章:nagios监控mysql主从复制