MySQL和MariaDB 备份 主从 读写分离

查询缓存：

如何判断是否命中：

通过查询语句的哈希值判断：哈希值考虑的因素包括

查询本身、要查询的数据库、客户端使用协议版本，...

 

查询语句任何字符上的不同，都会导致缓存不能命中；

 

哪此查询可能不会被缓存？

查询中包含UDF、存储函数、用户自定义变量、临时表、mysql库中系统表、或者包含列级权限的表、有着不确定值的函数(Now());

 

查询缓存相关的服务器变量：

query_cache_min_res_unit: 查询缓存中内存块的最小分配单位；

较小值会减少浪费，但会导致更频繁的内存分配操作；

较大值会带来浪费，会导致碎片过多；

query_cache_limit：能够缓存的最大查询结果；

对于有着较大结果的查询语句，建议在SELECT中使用SQL_NO_CACHE

query_cache_size：查询缓存总共可用的内存空间；单位是字节，必须是1024的整数倍；

query_cache_type:ON, OFF, DEMAND

query_cache_wlock_invalidate：如果某表被其它的连接锁定，是否仍然可以从查询缓存中返回结果；默认值为OFF，表示可以在表被其它连接淘宝的场景中继续从缓存返回数据；ON则表示不允许；

 

查询相关的状态变量

SHOWGLOBAL STATUS LIKE 'Qcache%';

+-------------------------+----------+

|Variable_name           | Value    |

+-------------------------+----------+

|Qcache_free_blocks      | 1        |

|Qcache_free_memory      | 16759688 |

|Qcache_hits             | 0        |

|Qcache_inserts          | 0        |

|Qcache_lowmem_prunes    | 0        |

|Qcache_not_cached       | 0        |

|Qcache_queries_in_cache | 0        |

|Qcache_total_blocks     | 1        |

+-------------------------+----------+

 

缓存命中率的评估：Qcache_hits/(Qcache_hits+Com_select)

 

 

查询mysql运行时全局变量

例：查询与缓存有关的去全局变量

showglobal variables like '%query%'

select@@query_cache_type;

关闭缓存

set query_cache_type=off;

 

 

MySQL日志：

 

是否启用二进制日志

sql_log_bin=on

 

二进制日志保存位置

log-bin=二进制日志保存位置

show binary logs;

查看二进制日志

showbinlog events in 'mysql-bin.000001'\G

 

二进制日志文件的位置：

 

二进制日志保存格式

binlog_format=mixed混合|statement基于语句|row基于行

是否启用二进制日志

sql_log_bin=on

设置单个二进制日志文件大小上限

max_binlog_size=1073741824 [最下4k最大1G]

设置二进制日志缓存文件大小

max_binlog_cache_size=18446744073709547520[这个值不能大于max_binlog_stmt_cache_size]

max_binlog_stmt_cache_size=18446744073709547520

设置多久同步一次二进制日志文件,0表示不同步,任何正值都表示记录多少个语句后同步一次

sync_binlog=0

 

二进制日志的格式

[root@1GPC~]# mysqlbinlog mysql-bin.000001

 

 

MySQL的备份和恢复

注意的要点

1.可容忍丢失多少数据

2.需要恢复什么

3.持锁时长

4.备份过程时长

5.备份时cpu的负载

6.恢复过程时长

备份类型：

完全备份，部分备份：仅备份其中的一张表或多张表

完全备份，增量备份：仅备份从上次完全备份或增量备份之后变化的数据部分

 

热备份、温备份、冷备份

热备份：在线备份，读写不受影响

温备份：在线备份，读可进行，写不允许

冷备份：离线备份，数据库服务器离线，备份期间不能为业务提供读写服务

 

MyISAM：温备份

InnoDB：热备份

 

物理备份和逻辑备份

物理备份：直接复制数据文件进行的备份。

优点：基于文件进行备份的，可以直接复制。恢复数据快。

缺点：和存储引擎有关，MyISAM导出的数据不能导入到InnoDB中。不能跨OS。

逻辑备份：从数据库中"导出"数据另存而进行的备份。

优点：可以通过修改sql语句进行二次加工，与存储引擎无关，可以导入到任何存储引擎中；

缺点：无法保证数据导出和在导入或一致性，因为浮点数会取近似值。索引需重建

 

 

设计备份方案：

备份数据、二进制日志、InnoDB事务日志等日志数据、代码(存储过程和存储函数、触发器、时间调度器等)、服务器配置文件

 

完全备份+增量备份

建议完全备份1周一次，1天一次增量备份

 

使用mysqldump做完全备份，通过备份二进制日志实现增量备份

lvm2快照：几乎热备，用cp，tar做完全备份，通过备份二进制日志实现增量备份

xtrabackup：物理备份

对InnoDB：热备份，支持完全备份和增量备份

其他存储引擎：温备份

备份工具：

mysqldump：逻辑备份工具，支持完全备份和部分备份，不支持增量备份，若要支持需备份二进制日志，对其他存储引擎温备份，InnoDB热备份

C/S架构，mysqldump是Client，mysqld是SERver

-A：备份所有数据库例：mysqldump -A -uroot -hlocalhost -x -p > /tmp/all.sql

要用 -x 锁定所要备份表或用 -l 锁定备份的表[会导致数据不一致，最好不要使用]

--single-transaction：表示启动一个单一事务实现备份，可以实现锁定备份的表

-B：指定备份哪个数据库例：mysqldump -uroot -hlocalhost -x -B test -p > /tmp/test.sql

使用-B和不使用-B直接备份数据库是有区别的，-B会自动添加create database 数据库这条语句，不使用则需恢复时自检创建数据库

备份表：mysqldump -uroot -hlocalhost mysql user -p > /tmp/mysql.test

-C：压缩传输，但会大量占用Server的CPU

-E：备份指定数据库的事件调度器

-R：备份存储过程和存储函数

--triggers:备份触发器

--master-data[=#]

0 表示不记录

1 记录CHANGE MASTERTO语句，此语句未被注释

2 记录CHANGE MASTERTO语句，此语句被注释

例：mysqldump --master-data=2 --lock-all-tables -A > /tmp/all.1.sql

-F：锁定表后执行flushlogs命令

 

案例：每周日完全备份，每周一到周五增量备份

二进制日志文件与数据文件不应放在同一磁盘上

例 hellodb单个数据库：在crontable中设计周期任务

完全备份：mysqldump -B tpweb --flush-logs --lock-all-tables --master-data=2 -uroot -hlocalhost -p > /tmp/tpweb-`date +%F`.sql

在这个sql文件中会看见

第22行表示备份后的所有的更改将会保存在mysql-bin.000003二进制文件中

增量备份：基于二进制日志文件进行备份

mysqladmin-uroot -p flush-logs

这时将会产生一个新的二进制日志文件mysql-bin.000004,mysql-bin.000003二进制文则会保存自上次备份后到现在的所有更改，只需把这个文件备份到安全的位置即可

mysqlbinlog /data/mysql-bin.000003 > /tmp/mysql-bin.000003

恢复备份：

mysql> SET SESSION sql_log_bin=0;关闭还原时产生的二进制日志

mysql> SOURCE  /tmp/tpweb-2015-06-16.sql

…

mysql> SET SESSION sql_log_bin=1;恢复完成后开启二进制日志

不然就只能去编辑配置文件去关闭二进制日志，用命令行还原

 

1.恢复完全备份

mysql -uroot -hlocalhost -p < /tmp/tpweb-2015-06-16.sql

2.恢复增量备份

mysql -uroot -hlocalhost -p < /tmp/mysql-bin.000003

当数据未备份却进行了误操作，可通过二进制日志进行恢复

例：误删除了数据库

1.备份二进制日志文件到安全的位置上

mysqlbinlog /data/mysql-bin.000003 > /tmp/mysql-bin.000003

2.用vimmysql-bin.000003

找到最近一次的误操作并删除,并用mysql -uroot -hlocalhost -p < /tmp/mysql-bin.000003恢复

或

1.先用mysqlbinlog/data/mysql-bin.000003看下误操作的position 即at 后面的数字

mysqlbinlog --stop-position 7295 /data/mysql-bin.000003 > /tmp/mysql-bin.000003

2.mysql -uroot -hlocalhost-p < /tmp/mysql-bin.000003

cp，tar等文件系统工具：物理备份工具，冷备份，一般用于MyISAM备份，支持完全备份和部分备份

lvm2快照：几乎热备份，借助cp，tar等文件系统工具实现物理备份,需备份事务日志

ibbackup：对于InnoDB支持热备份，需向IBM缴费

xtrbackup:对InnoDB热备份，支持完全和增量备份

        对MyISAM温备份，只支持完全备份

 

官网下载percona-xtrabackup-2.2.3-4982.el6.x86_64.rpm

yum install yum install perl-DBD-MySQL

yuminstall percona-xtrabackup-2.2.3-4982.el6.x86_64.rpm

 

 

MySQL复制

复制功用

数据分布、负载均衡、备份、高可用和故障切换、MySQL升级测试，

要想实现复制，需在主节点开启二进制日志

 

主从复制：

从服务器：

I/O线程：从master请求二进制日志信息，并保存至slave中继日志

SQL线程：从[relay log]中继日志中读取日志信息，在本地完成重放

 

默认工作在异步[async]模式

 

存在的问题：

1.主从数据不一致

2.从服务器数据落后主服务器

 

双主模型：

读：负载均衡

写：都要写入，无法均衡

 

复制时应注意的问题

1.主节点运行很久后要加入从节点

在主节点上做一个完全备份，并记录二进制日志文件及position位置

在从节点恢复此完全备份，并在启动复制是从记录的二进制日志文件position位置开始

 

2.如何限制从服务器只读

在从服务器启动read_only：但仅对非具有SUPER权限的用户有效

阻止所有用户：MariaDB> flush tables with read lock

 

3.如何保证主从复制时事务安全

在master节点上启用参数：

sync_binlog=on

若用到的为InnoDB存储引擎：

启用Innodb_flush_logs_at_trx_commit  表示一旦提交了事务立即同步到磁盘上

Innodb_support_xa=on

在slave节点上：

skip_slave_start=on  表示跳过slave自动启动

主节点在不考虑磁盘IO的情况下：

snyc_master_info=1

从节点在不考虑磁盘IO的情况下:

snyc_master_info=1

snyc_relay_log=1

sync_relay_log_info=1

 

3.为了避免从服务器数据落后主服务器，可以使用半同步复制

主节点：

安装插件，文件在/usr/local/mysql/lib/plugin下

MariaDB> install plugin rpl_semi_sync_master soname'semisync_master.so'

show global variables like '%semi%'可以查看安装后semisync的状态

编辑配置文件：

rpl_semi_sync_master_enabled =on 开启半同步

rpl_semi_sync_master_timeout=2000 超时时间设为2000毫秒

从节点：

安装插件

MariaDB> install plugin rpl_semi_sync_slave soname'semisync_slave.so'

show global variables like '%semi%'可以查看安装后semisync的状态

编辑配置文件：

rpl_semi_sync_slave_enabled =on 开启半同步

重启slave线程

stop slave io_thread;

start slave io_thread;

使用show global status like '%semi%' 查看状态是否启动

4.复制过滤器，不复制所有数据库，只复制指定的数据库

(1)主服务器仅向二进制日志中记录有特定数据库相关的写操作

问题：即时点还原将无法实现

binlog_do_db =                            数据库白名单

binlog_ignore_db =                      数据库黑名单

(2)从服务器的SQL_THREAD仅在中继日志中读取特定数据相关的语句并应用在本地

问题：会造成网络带宽和磁盘IO的浪费

 Replicate_Do_DB:                       数据库白名单

 Replicate_Ignore_DB:                 数据库黑名单

 Replicate_Do_Table:

 Replicate_Ignore_Table:

 Replicate_Wild_Do_Table:            用通配符匹配

 Replicate_Wild_Ignore_Table:

 

例：

先stop slave;

set global Replicate_Do_DB=tpweb;

在start slave;

5.基于SSL的复制

前提：支持SSL

用show global variables like '%ssl%';查看ssl状态，在编译时指定开启ssl

MariaDB[(none)]> show global variables like '%ssl%';

+---------------+----------+

|Variable_name | Value    |

+---------------+----------+

| have_openssl  |ENABLED |

| have_ssl      | ENABLED |

| ssl_ca        |     ca证书路径    |

| ssl_capath    |   一堆ca证书路径     |

| ssl_cert      |   ca给自己发的证书      |

| ssl_cipher   |     加密算法     |

| ssl_key      |     私钥     |

+---------------+----------+

(1) 主服务器配置证书和私钥，并创建一个要求必须使用SSL连接的复制账号(使用REQUIRE SSL)

(2)SLAVE端连接MASTER时，使用MASTER_SSL相关的选项来配置证书等信息

6.跟复制有关的文件

在从节点上的master.info用来保存主从连接时的相关信息，如账号，密码…

relay-log.info：保存了当前slave节点上已经复制的当前二进制日志和本地中继日志的对应关系，即position位置

7.复制的监控和维护

(1)清理日志：使用PURGE

(2)监控复制：

show master status

show binlog events

show binary logs

 

show slave status

(3)如何判断slave是否落后于master

用show slave status中的Seconds_Behind_Master: NULL来观察

(4)如何确定主从节点数据是否一致

①在创建表时启用checksum，之后可以通过show table status查看主从节点同一张表的checksum是否一致

②使用percona-tools中的pt-table-checksum

(5)数据不一致时的修复方法：

重新复制master节点的数据，重新同步

配置MySQL主从：

例：172.16.37.20做主节点，172.16.37.21做从节点

master：

1.启用二进制日志

2.设置一个在当前集群中唯一的server-id

3.创建一个有复制权限[REPLICATIONSLAVE,REPLICATION CLIENT]的账号

在mysql命令行中执行

MariaDB [(none)]> grant replicationclient,replication slave on *.* to 'testuser'@'172.16.%.%' identified by'123456';

slave：

1.启动中继日志，注释二进制日志

2.设置一个在当前集群中唯一的server-id

3.不允许client写入操作

4.利用有复制权限的用户账号连接至主服务器，并启动复制线程

MariaDB [(none)]>  change master tomaster_host='172.16.37.20',master_user='testuser',master_password='123456',master_log_file='master-bin.000001',master_log_pos=419,master_connect_retry=5,master_heartbeat_period=2;

master_connect_retry=5：表示每5s重连一次

master_heartbeat_period=2：表示每2s探测一次master的健康状态

 

在master中查出master_log_pos的值；

 

 

5.用show slavestatus查看slave状态，并用startslave;启动线程

MariaDB[(none)]> show slave status\G

***************************1. row ***************************

               Slave_IO_State:

                  Master_Host: 172.16.37.21

                  Master_User: testuser

                  Master_Port: 3306

                Connect_Retry: 5

              Master_Log_File:master-bin.000001

          Read_Master_Log_Pos: 419

               Relay_Log_File:mysql-relay.000001

                Relay_Log_Pos: 4

        Relay_Master_Log_File:master-bin.000001

             Slave_IO_Running: No

            Slave_SQL_Running: No

              Replicate_Do_DB:

          Replicate_Ignore_DB:

           Replicate_Do_Table:

       Replicate_Ignore_Table:

      Replicate_Wild_Do_Table:

  Replicate_Wild_Ignore_Table:

                   Last_Errno: 0

                   Last_Error:

                 Skip_Counter: 0

          Exec_Master_Log_Pos: 419

              Relay_Log_Space: 245

              Until_Condition: None

               Until_Log_File:

                Until_Log_Pos: 0

           Master_SSL_Allowed: No

           Master_SSL_CA_File:

           Master_SSL_CA_Path:

              Master_SSL_Cert:

            Master_SSL_Cipher:

               Master_SSL_Key:

        Seconds_Behind_Master: NULL

Master_SSL_Verify_Server_Cert:No

                Last_IO_Errno: 0

                Last_IO_Error:

               Last_SQL_Errno: 0

               Last_SQL_Error:

  Replicate_Ignore_Server_Ids:

             Master_Server_Id: 0

测试：在master创建数据库，在slave上查看是否复制成功

 

 

 

双主模型：

互为主从：

1.数据可能不一致；

2.id有auto_increment定义一个节点使用基数id，另一节点使用偶数id，但会产生id不连贯

用show global variables like '%increment%';查看偏移量

auto_increment_offset 表示从几开始

auto_increment_increment表示一次增加几

定义一个节点使用基数id

set @@auto_increment_offset=1;

set @@auto_increment_increment=2;

定义一个节点使用偶数id

set @@auto_increment_offset=2;

set @@auto_increment_increment=2;

 

 

配置：

1.各自使用不同的server-id

172.16.37.20：

172.16.37.21：

2.都启用二进制日志和中继日志

172.16.37.20：

172.16.37.21：

3.解决自增字段问题

172.16.37.20：

172.16.37.21：

4.都授权有复制权限的账号

172.16.37.20/21都执行授权

MariaDB [(none)]> grant replicationclient,replication slave on *.* to 'testuser'@'172.16.%.%' identified by'123456';

5.各自把对方指定为主服务器

172.16.37.20

先showmaster status;查看

再指定master为对方

MariaDB [(none)]> change master to master_host='172.16.37.21',master_user='testuser',master_password='123456',master_log_file='mysq2l-bin.000001',master_log_pos=424,master_connect_retry=5,master_heartbeat_period=2;

再show slave status\G 查看slave状态，并用startslave;启动线程

172.16.37.21

先showmaster status;查看

再指定master为对方

MariaDB [(none)]> change master to master_host='172.16.37.20',master_user='testuser',master_password='123456',master_log_file='mysql-bin.000001',master_log_pos=424,master_connect_retry=5,master_heartbeat_period=2;

再show slave status\G 查看slave状态，并用startslave;启动线程

 

测试：在两个节点上创建数据库，并在对方的Client上查看

 

 

读写分离：

为了实现读写分离，写操作都发往master，读都发往slave

 

读写分离器：

mysql-proxy 测试版-->奇虎360的二次开发版 (atlas)

amoeba 淘宝研发的

dbrelay 商业产品

 

mysql-proxy:

先配置主从服务器

master : 172.16.37.20

1.启用二进制日志

2.设置一个在当前集群中唯一的server-id

3.创建一个有复制权限[REPLICATIONSLAVE,REPLICATION CLIENT]的账号

在mysql命令行中执行

MariaDB [(none)]> grant replicationclient,replication slave on *.* to 'testuser'@'172.16.%.%' identified by'123456';

 

slave : 172.16.37.21

1.启动中继日志，注释二进制日志

2.设置一个在当前集群中唯一的server-id

3.不允许client写入操作

4.利用有复制权限的用户账号连接至主服务器，并启动复制线程

MariaDB [(none)]>  change master tomaster_host='172.16.37.20',master_user='testuser',master_password='123456',master_log_file='master-bin.000001',master_log_pos=419,master_connect_retry=5,master_heartbeat_period=2;

master_connect_retry=5：表示每5s重连一次

master_heartbeat_period=2：表示每2s探测一次master的健康状态

 

在master中查出master_log_pos的值；

5.用show slavestatus查看slave状态，并用startslave;启动线程

 

再设置登录用户grant all on *.* to 'lx'@'%' identified by'123456';

 

配置mysql-proxy代理服务器，172.16.37.9

epel源：yum -yinstall mysql-proxy

使用官方二进制格式文件中的rw-splitting.lua脚本进行读写分离

 

配置文件：/etc/mysql-proxy.cnf

[mysql-proxy]

daemon= true

pid-file= /var/run/mysql-proxy.pid

log-file = /var/log/mysql-proxy.log  # 可以选择关闭日志，因为记录的非常详细，占用磁盘空间

log-level = debug 

max-open-files= 1024

plugins= admin,proxy

user= mysql-proxy

#

#ProxyConfiguration

proxy-address = 0.0.0.0:3306                                          #代理服务监听的地址和端口

proxy-backend-addresses =172.16.100.7:3306            #支持读写操作的后端mysql                      

proxy-read-only-backend-addresses =172.16.100.8:3306        # 只读后端

#proxy-lua-script=

proxy-lua-script =/usr/lib64/mysql-proxy/lua/rw-splitting.lua #读写分离脚本，可以注释使用默认

#proxy-skip-profiling= true

#

#Admin Configuration

admin-address = 0.0.0.0:4041  # 默认管理程序监听端口

admin-lua-script= /usr/lib64/mysql-proxy/lua/admin.lua

admin-username = admin # 管理用户

admin-password = admin # 管理密码

 

启动服务：/etc/init.d/mysql-proxy start

 

测试：mysql -h172.16.37.9 -ulx -p123456 -e 'create database proxy-test';然后去主从服务器上查看是否创建了此database

 

复制的问题和解决方案：

(1) 数据损坏或丢失

从服务器崩溃回去找：master.info

最好在从节点上启动                        

snyc_master_info=1

snyc_binlog=1

但会增加IO压力

 

(2) 建议不要混合使用存储引擎，可以考虑都使用InnoDB

 

(3) 注意要使用唯一的serverid

 

(4) 复制延迟

重启从服务器的slave线程，要确保当前从服务器没有正在进行的请求和长连接

 

数据库切分：sharding

垂直切分：按表进行切分

水平切分：按表中的行进行的切分

 

切分条件：读集中，写离散

 

MySQL数据库的向外扩展方式：复制、拆分、sharding

 

拆分方式：

按功能拆分：也即按应用拆分；

数据分片：

选择切分键

把数据存储在哪里？

从哪儿读数据？

 

数据库切分框架：

cobar

gizzard

HibernatShards

HiveDB