dubbo mysql主从备份

主节点 IP：192.168.1.205 主机名：master1
从节点 IP：192.168.1.206 主机名：master2

机器准备
主节点 IP：192.168.229.204 主机名：master1
从节点 IP：192.168.229.205 主机名：master2
两台机器都启动mysql 密码www.roncoo.com

MySQL 主从复制官方文档
http://dev.mysql.com/doc/refman/5.6/en/replication.html

MySQL 主从复制的方式 MySQL5.6 开始主从复制有两种方式：
基于日志（binlog）、基于 GTID（全局事务标示符） 。 在此主要基于日志（binlog）的复制。

MySQL 主从复制（也称 A/B 复制）的原理
(1) Master将数据改变记录到二进制日志(binary log)中，也就是配置文件log-bin指定的文件， 这些记录叫做二进制日志事件(binary log events)；
(2) Slave 通过 I/O 线程读取 Master 中的 binary log events 并写入到它的中继日志(relay log)；
(3) Slave 重做中继日志中的事件，把中继日志中的事件信息一条一条的在本地执行一次，完 成数据在本地的存储，从而实现将改变反映到它自己的数据(数据重放)。
主

主从配置需要注意的点
(1)主从服务器操作系统版本和位数一致；
(2) Master 和 Slave 数据库的版本要一致；
(3) Master 和 Slave 数据库中的数据要一致；
(4) Master 开启二进制日志，Master 和 Slave 的 server_id 在局域网内必须唯一；

主从配置的简要步骤 1、Master 上的配置
(1) 安装数据库；
(2) 修改数据库配置文件，指明 server_id，开启二进制日志(log-bin)；
(3) 启动数据库，查看当前是哪个日志，position 号是多少；
(4) 登录数据库，授权数据复制用户（IP 地址为从机 IP 地址，如果是双向主从，这里的 还需要授权本机的 IP 地址，此时自己的 IP 地址就是从 IP 地址)； (5) 备份数据库（记得加锁和解锁）； (6) 传送备份数据到 Slave 上； (7) 启动数据库； 以下步骤，为单向主从搭建成功，想搭建双向主从需要的步骤： (1) 登录数据库，指定 Master 的地址、用户、密码等信息（此步仅双向主从时需要） ； (2) 开启同步，查看状态； 2、Slave 上的配置 (1) 安装数据库； (2) 修改数据库配置文件，指明 server_id（如果是搭建双向主从的话，也要开启二进制 日志 log-bin） ； (3) 启动数据库，还原备份； (4) 查看当前是哪个日志，position 号是多少（单向主从此步不需要，双向主从需要）；
(5) 指定 Master 的地址、用户、密码等信息；
(6) 开启同步，查看状态。



单向主从环境(也成MySQL A/B复制)的搭建
(1)两台数据库服务器的的 selinux 都要 disable （永久关闭 selinux，请修改/etc/selinux/config， 将 SELINUX 改为 disabled
(2)都安装了相同版本的数据库（mysql5.6.26.tar.gz)

master1其中/etc/my.conf配置如下
[root@master1 ~]# cat /etc/my.cnf
[client]
port = 3306
socket = /usr/local/mysql/mysql.sock

[mysqld]
character-set-server = utf8
collation-server = utf8_general_ci

skip-external-locking
skip-name-resolve

user = mysql
port = 3306
basedir = /usr/local/mysql
datadir = /home/mysql/data
tmpdir = /home/mysql/temp
# server_id = .....
socket = /usr/local/mysql/mysql.sock
log-error = /home/mysql/logs/mysql_error.log
pid-file = /home/mysql/mysql.pid

open_files_limit = 10240

back_log = 600
max_connections=500
max_connect_errors = 6000
wait_timeout=605800

#open_tables = 600
#table_cache = 650
#opened_tables = 630

max_allowed_packet = 32M

sort_buffer_size = 4M
join_buffer_size = 4M
thread_cache_size = 300
query_cache_type = 1
query_cache_size = 256M
query_cache_limit = 2M
query_cache_min_res_unit = 16k

tmp_table_size = 256M
max_heap_table_size = 256M

key_buffer_size = 256M
read_buffer_size = 1M
read_rnd_buffer_size = 16M
bulk_insert_buffer_size = 64M

lower_case_table_names=1

default-storage-engine = INNODB

innodb_buffer_pool_size = 2G
innodb_log_buffer_size = 32M
innodb_log_file_size = 128M
innodb_flush_method = O_DIRECT

#####################
thread_concurrency = 32
long_query_time= 2
slow-query-log = on
slow-query-log-file = /home/mysql/logs/mysql-slow.log

## replication
server_id=204             <--------与本机IP对应，192.168.229.204
#binlog-do-db=roncoo
binlog-ignore-db=mysql
log-bin=edu-mysql-bin
binlog_cache_size=1M
binlog_format=mixed
expire_logs_days=7
slave_skip_errors=1062

[mysqldump]
quick
max_allowed_packet = 32M

[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

[root@master1 ~]#

其中master2的配置/etc/my.cnf如下
[root@master2 etc]# cat my.cnf
[client]
port = 3306
socket = /usr/local/mysql/mysql.sock

[mysqld]
character-set-server = utf8
collation-server = utf8_general_ci

skip-external-locking
skip-name-resolve

user = mysql
port = 3306
basedir = /usr/local/mysql
datadir = /home/mysql/data
tmpdir = /home/mysql/temp
# server_id = .....
socket = /usr/local/mysql/mysql.sock
log-error = /home/mysql/logs/mysql_error.log
pid-file = /home/mysql/mysql.pid

open_files_limit = 10240

back_log = 600
max_connections=500
max_connect_errors = 6000
wait_timeout=605800

#open_tables = 600
#table_cache = 650
#opened_tables = 630

max_allowed_packet = 32M

sort_buffer_size = 4M
join_buffer_size = 4M
thread_cache_size = 300
query_cache_type = 1
query_cache_size = 256M
query_cache_limit = 2M
query_cache_min_res_unit = 16k

tmp_table_size = 256M
max_heap_table_size = 256M

key_buffer_size = 256M
read_buffer_size = 1M
read_rnd_buffer_size = 16M
bulk_insert_buffer_size = 64M

lower_case_table_names=1

default-storage-engine = INNODB

innodb_buffer_pool_size = 2G
innodb_log_buffer_size = 32M
innodb_log_file_size = 128M
innodb_flush_method = O_DIRECT

#####################
thread_concurrency = 32
long_query_time= 2
slow-query-log = on
slow-query-log-file = /home/mysql/logs/mysql-slow.log


## replication
server_id=205             <--------与本机IP对应，192.168.229.205
#binlog-do-db=roncoo
binlog-ignore-db=mysql
log-bin=edu-mysql-slave1-bin
binlog_cache_size = 1M
binlog_format=mixed
expire_logs_days=7
slave_skip_errors=1062
relay_log=edu-mysql-relay-bin
log_slave_updates=1
read_only=1


[mysqldump]
quick
max_allowed_packet = 32M

[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

[root@master2 etc]#

重启Master1和Master2节点的mysql服务
[root@master1 ~]# service mysql restart
[root@master2 ~]# service mysql restart
www.roncoo.com
在主节点上创建数据同步用户，这个用户允许从主要节点同步数据
mysql> use mysql;
mysql> grant replication slave, replication client on *.* to 'repl'@'192.168.229.205' identified by 'roncoo.123';
mysql> grant replication slave, replication client on *.* to 'repl'@'*' identified by 'roncoo.123';
mysql> flush privileges;


mysql> show master status;
+----------------------+----------+--------------+------------------+-------------------+
| File                 | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+----------------------+----------+--------------+------------------+-------------------+
| edu-mysql-bin.000001 |      120 |              | mysql            |                   |
+----------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

mysql>
4、创建 roncoo 库、表，并写入一定量的数据，用于模拟现有的业务系统数据库
create database if not exists ron default charset utf8 collate utf8_general_ci;

use ron;

DROP TABLE IF EXISTS `edu_user`;
CREATE TABLE `edu_user` (
  `Id` int(11) NOT NULL AUTO_INCREMENT,
  `userName` varchar(255) NOT NULL DEFAULT '' COMMENT '用户名',
  `pwd` varchar(255) NOT NULL DEFAULT '' COMMENT '密码',
  PRIMARY KEY (`Id`)
) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8 COMMENT='用户信息表';

INSERT INTO `edu_user` VALUES (1,'吴水成','123456'),(2,'清风','123456'),(3,'龙果','roncoo.com');

5 为保证Master和Slave的数据一致，我们采用主备份，从还原来实现初始数据一致性
#先临时锁表
mysql> flush tables with read lock;  (unlock tables; )
mysql> exit

[root@master1 ~]#  mysqldump -p3306 -uroot -p  --add-drop-table ron > /tmp/edu-master-roncoo.sql
Enter password: www.roncoo.com
[root@master1 ~]# scp /tmp/edu-master-roncoo.sql root@master2:/tmp/
edu-master-roncoo.sql                                                                                   100% 2079     1.5MB/s   00:00
[root@master1 ~]#

slave上创建相同库
[root@master2 ~]# mysql -uroot -p
Enter password:www.roncoo.com
mysql> create database if not exists roncoo default charset utf8 collate utf8_general_ci;
mysql> use roncoo;

[root@master2 ~]# mysql -uroot -p roncoo  use roncoo;
mysql> select * from edu_user;
+----+-----------+------------+
| Id | userName  | pwd        |
+----+-----------+------------+
|  1 | 吴水成    | 123456     |
|  2 | 清风      | 123456     |
|  3 | 龙果      | roncoo.com |
+----+-----------+------------+
3 rows in set (0.00 sec)

mysql>

登录Slave数据库，添加相关参数
(Master的IP，端口，同步用户，密码，position号，读取哪个日志文件)


mysql> change master to master_host='192.168.229.204', master_user='repl', master_password='roncoo.123', master_port=3306, master_log_file='edu-mysql-bin.000001', master_log_pos=120, master_connect_retry=30;
ERROR 1198 (HY000): This operation cannot be performed with a running slave; run STOP SLAVE first
mysql> stop slave;
mysql> change master to master_host='192.168.229.204', master_user='repl', master_password='roncoo.123', master_port=3306, master_log_file='edu-mysql-bin.000002', master_log_pos=120, master_connect_retry=30;
mysql> START slave;

 上面执行的命令的解释：
master_host='192.168.1.205'  ## Master 的 IP 地址
master_user='repl'    ## 用于同步数据的用户（在 Master 中授权的用户）
master_password='roncoo.123' ## 同步数据用户的密码
master_port=3306    ## Master 数据库服务的端口
master_log_file='edu-mysql-bin.000001' ##指定 Slave 从哪个日志文件开始读复制数据（可 在 Master 上使用 show master status 查看到日志文件名）
master_log_pos=429   ## 从哪个 POSITION 号开始读
master_connect_retry=30  ##当重新建立主从连接时，如果连接建立失败，间隔多久后重试。 单位为秒，默认设置为 60 秒，同步延迟调优参数。

## 查看主从同步状态
mysql> show slave status\G;
可看到 Slave_IO_State 为空， Slave_IO_Running 和 Slave_SQL_Running 是 No，表明 Slave 还 没有开始复制过程。

## 开启主从同步
mysql> start slave;
## 再查看主从同步状态
mysql> show slave status\G;

可查看 master 和 slave 上线程的状态。在 master 上，可以看到 slave 的 I/O 线程创建的连接： Master :
mysql> show processlist\G;
主要看一下两个参数，这两个参数如果是Yes就表示主从同步正常
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
可查看master和slave上线程的状态。
在master上输入命令，可以看到slave的I/O线程创建的连接
mysql> show processlist\G;
*************************** 1. row ***************************
     Id: 24
   User: root
   Host: 127.0.0.1:34102
     db: NULL
Command: Query
   Time: 0
  State: init
   Info: show processlist
*************************** 2. row ***************************
     Id: 25
   User: repl
   Host: 192.168.229.205:39450
     db: NULL
Command: Binlog Dump
   Time: 381
  State: Master has sent all binlog to slave; waiting for binlog to be updated
   Info: NULL
2 rows in set (0.00 sec)

ERROR:
No query specified

mysql>
1.row 为处理 slave 的 I/O 线程的连接。
2.row 为处理 MySQL 客户端连接线程。
3.row 为处理本地命令行的线程

在slave上输入命令，可以看到slave的I/O线程创建的连接
mysql>  show processlist\G;
*************************** 1. row ***************************
     Id: 3
   User: root
   Host: localhost
     db: NULL
Command: Query
   Time: 0
  State: init
   Info: show processlist
*************************** 2. row ***************************
     Id: 6
   User: system user
   Host:
     db: NULL
Command: Connect
   Time: 558
  State: Waiting for master to send event
   Info: NULL
*************************** 3. row ***************************
     Id: 7
   User: system user
   Host:
     db: NULL
Command: Connect
   Time: 558
  State: Slave has read all relay log; waiting for the slave I/O thread to update it
   Info: NULL
3 rows in set (0.00 sec)

ERROR:
No query specified

mysql>
slave节点参数说明
1.row 为 I/O 线程状态。
2.row 为 SQL 线程状态。
3.row 为处理本地命令行的线程


----------------------------------------------------------------------
----------------------------------------------------------------------
主从数据复制同步测试
(1) 在 Master 中的 roncoo 库上变更数据的同步测试；
 mysql> INSERT INTO `edu_user` VALUES (4,'同步测试 1','123456'),(5,'同步测试 2','123456');

Master 中添加完之后，登录 Slave 中查看数据是否已同步。
 show slave status\G;
(2) 在 Master 上新建一个 ron 库
mysql> create database if not exists ron default charset utf8 collate utf8_general_ci;
在 Slave 中查看数据库
mysql> show databases;
最终的测试结果是，在 Master 中的操作，都成功同步到了 Slave。

10、测试过程中，如果遇到同步出错，可在 Slave 上重置主从复制设置（选操作）：
(1) mysql> reset slave;
(2) mysql> change master to master_host='192.168.1.205',  master_user='repl',  master_password='roncoo.123',  master_port=3306,  master_log_file='edu-mysql-bin.00000x',master_log_pos=xx,master_connect_retry=30;

(此时，master_log_file 和 master_log_pos 要在 Master 中用 show master status 命令查看)

注意：如果在 Slave 没做只读控制的情况下，千万不要在 Slave 中手动插入数据，那样数据 就会不一致，主从就会断开，就需要重新配置了

两个可以减少主从复制延迟的参数（按需配置）： MySQL 可以指定 3 个参数，用于复制线程重连主库：--master-retry-count，--master-connectretry， --slave-net-timeout 。其中 master-connect-retry 和 master-retry-count 需要在 Change Master 搭建主备复制时指定，而 slave-net-timeout 是一个全局变量，可以在 MySQL 运行 时在线设置。具体的重试策略为：备库过了 slave-net-timeout 秒还没有收到主库来的数据， 它就会开始第一次重试。然后每过 master-connect-retry 秒，备库会再次尝试重连主库。直 到重试了 master-retry-count 次，它才会放弃重试。如果重试的过程中，连上了主库，那么 它认为当前主库是好的，又会开始 slave-net-timeout 秒的等待。slave-net-timeout 的默认值 是 3600 秒，master-connect-retry 默认为 60 秒，master-retry-count 默认为 86400 次。也 就是说，如果主库一个小时都没有任何数据变更发送过来，备库才会尝试重连主库。这就是 为什么在我们模拟的场景下，一个小时后，备库才会重连主库，继续同步数据变更的原因。
 这样的话，如果你的主库上变更比较频繁，可以考虑将 slave-net-timeout 设置的小一点，避 免主库 Binlog dump 线程终止了，无法将最新的更新推送过来。当然 slave-net-timeout 设 置的过小也有问题，这样会导致如果主库的变更确实比较少的时候，备库频繁的重新连接主 库，造成资源浪费。 
 
slave-net-timeout=seconds 参数说明：当 Slave 从 Master 数据库读取 log 数据失败后，等待多久重新建立连接并获取数 据，单位为秒，默认设置为 3600 秒。