docker容器搭建MySQL集群，mysql主从同步
一：MySQL集群介绍
1.1 MySQL集群的目标
• 高可用（High Availability），是当一台服务器停止服务后，对于业务及用户毫无影响。 停止服务的原因可能由于网卡、路由器、机房、CPU负载过高、内存溢出、自然灾害等不可预期的原因导致，在很多时候也称单点问题。
• 突破数据量限制，一台服务器不能储存大量数据，需要多台分担，每个存储一部分，共同存储完整个集群数据。最好能做到互相备份，即使单节点故障，也能在其他节点找到数据。
• 数据备份容灾，单点故障后，存储的数据仍然可以在别的地方拉起。
• 压力分担，由于多个服务器都能完成各自一部分工作，所以尽量的避免了单点压力的存在
1.2 MySQL集群的基础形式
1）主从式
主从复制，同步方式
主从调度，控制方式
2）分片式
数据分片存储
片区之间备份
3）选主式
为了容灾选主
为了调度选主
1.3 MySQL集群原理
1.3.1 MySQL-MMM
MySQL-MMM 是 Master-Master Replication Manager for MySQL（mysql 主主复制管理器）的简称，是 Google 的开源项目（Perl 脚本）。MMM 基于 MySQLReplication 做的扩展架构，主要用来监控 mysql 主主复制并做失败转移。其原理是将真实数据库节点的IP（RIP）映射为虚拟 IP（VIP）集。mysql-mmm 的监管端会提供多个虚拟 IP（VIP），包括一个可写 VIP，多个可读 VIP，通过监管的管理，这些 IP 会绑定在可用 mysql 之上，当某一台 mysql 宕机时，监管会将 VIP迁移至其他 mysql。在整个监管过程中，需要在 mysql 中添加相关授权用户，以便让 mysql 可以支持监理机的维护。授权的用户包括一个mmm_monitor 用户和一个 mmm_agent 用户，如果想使用 mmm 的备份工具则还要添加一个 mmm_tools 用户。
解析：master1和master2是主节点，slave是从节点，monitor是监控器。monitor会创建三个虚拟ip集，master1主要进行增删改操作，master2和slave主要进行读操作。所以master1和master2、slave就实现了读写分离。如果此时monitor监控器检测到master1宕机了，此时客户端连接的ip仍然是master1的，但监控器已经将我们master1的ip漂移到master2上了，此时master2也具备增删改功能。下一次当master1修复好以后就会作为从节点从master2里面获取数据，master1和master2就是双主复制。
1.3.2 MHA（Master High Availability）
MHA（Master High Availability）目前在 MySQL 高可用方面是一个相对成熟的解决方案, 由日本 DeNA 公司 youshimaton（现就职于 Facebook 公司）开发，是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。在MySQL故障切换过程中，MHA 能做到在 0~30 秒之内自动完成数据库的故障切换操作（以 2019 年的眼光来说太慢了），并且在进行故障切换的过程中，MHA 能在最大程度上保证数据的一致性，以达到真正意义上的高可用。
1.3.3 InnoDB Cluster
InnoDB Cluster 支持自动 Failover、强一致性、读写分离、读库高可用、读请求负载均衡，横向扩展的特性，是比较完备的一套方案。但是部署起来复杂，想要解决 router单点问题好需要新增组件，如没有其他更好的方案可考虑该方案。 InnoDB Cluster 主要由 MySQL Shell、MySQL Router 和 MySQL 服务器集群组成，三者协同工作，共同为MySQL 提供完整的高可用性解决方案。MySQL Shell 对管理人员提供管理接口，可以很方便的对集群进行配置和管理,MySQL Router 可以根据部署的集群状况自动的初始化，是客户端连接实例。如果有节点 down 机，集群会自动更新配置。集群包含单点写入和多点写入两种模式。在单主模式下，如果主节点 down 掉，从节点自动替换上来，MySQL Router 会自动探测，并将客户端连接到新节点。
1.3.4 企业级解决方案
流程：用户连接数据库代理引擎（MyCat、dbproxy）作为后端数据库的代理，写数据交给主节点，读数据交给从节点。如果发生宕机，从节点就会同步主节点数据，而且从节点也会进行角色区分，例如前三个从节点负责大并发请求，包括商品查询之类的，将请求平均分配到这三个从节点上。此时后台管理系统的数据库就部署在slave4上，使其不会因为前端的高并发而影响我们的后台系统。而slave5主要进行数据备份，在其他节点宕机的情况下不会使我们的服务终止。而且从节点主要从主节点同步数据，我们提供一个备用主节点。当数据量足够大的情况下对主节点进行分片存储。
二：Docker 安装模拟 MySQL 主从复制集群
2.1 创建master实例并启动
docker run -p 3316:3306 --name mysql-master -v /data/mydata/mysql/master/log:/var/log/mysql -v /data/mydata/mysql/master/data:/var/lib/mysql -v /data/mydata/mysql/master/conf:/etc/mysql/conf.d -e MYSQL_ROOT_PASSWORD=root -d mysql:5.7
docker logs -f 容器id #查看容器运行状态
1）参数说明
-p 3307:3306：将容器的 3306 端口映射到主机的 3307 端口
-v /mydata/mysql/master/conf:/etc/mysql：将配置文件夹挂在到主机
-v /mydata/mysql/master/log:/etc/mysql/conf.d：将日志文件夹挂载到主机
-v /mydata/mysql/master/data:/var/lib/mysql/：将配置文件夹挂载到主机
-e MYSQL_ROOT_PASSWORD=root：初始化 root 用户的密码
2）修改 master 基本配置
vim /data/mydata/mysql/master/conf/my.cnf
加入如下配置
[client]
default-character-set=utf8
[mysql]
default-character-set=utf8
[mysqld]
init_connect='SET collation_connection = utf8_unicode_ci'
init_connect='SET NAMES utf8'
character-set-server=utf8
collation-server=utf8_unicode_ci
skip-character-set-client-handshake
skip-name-resolve
注意：skip-name-resolve 一定要加，不然连接 mysql 会超级慢
3）添加 master 主从复制部分配置
server_id=1
log-bin=mysql-bin
read-only=0
binlog-do-db=gulimail_ums
binlog-do-db=gulimail_pms
binlog-do-db=gulimail_oms
binlog-do-db=gulimail_sms
binlog-do-db=gulimail_wms
binlog-do-db=gulimail_admin
replicate-ignore-db=mysql
replicate-ignore-db=sys
replicate-ignore-db=information_schema
replicate-ignore-db=performance_schema
2.2 创建slaver实例并启动
1）创建实例
docker run -p 3317:3306 --name mysql-slaver-01 -v /data/mydata/mysql/slaver/log:/var/log/mysql -v /data/mydata/mysql/slaver/data:/var/lib/mysql -v /data/mydata/mysql/slaver/conf:/etc/mysql/conf.d -e MYSQL_ROOT_PASSWORD=root -d mysql:5.7
2）修改 slave 基本配置
vim /data/mydata/mysql/slaver/conf/my.cnf
加入如下配置
[client]
default-character-set=utf8
[mysql]
default-character-set=utf8
[mysqld]
init_connect='SET collation_connection = utf8_unicode_ci'
init_connect='SET NAMES utf8'
character-set-server=utf8
collation-server=utf8_unicode_ci
skip-character-set-client-handshake
skip-name-resolve
注意：skip-name-resolve 一定要加，不然连接 mysql 会超级慢
3）添加 slaver主从复制部分配置
server_id=2
log-bin=mysql-bin
read-only=1
binlog-do-db=gulimail_ums
binlog-do-db=gulimail_pms
binlog-do-db=gulimail_oms
binlog-do-db=gulimail_sms
binlog-do-db=gulimail_wms
binlog-do-db=gulimail_admin
replicate-ignore-db=mysql
replicate-ignore-db=sys
replicate-ignore-db=information_schema
replicate-ignore-db=performance_schema
注：每个服务器的server_id要不一样,read-only=1表示只读
重启master和slaver
docker restart mysql-master mysql-slaver-01
2.3 为 master 授权用户来他的同步数据
2.3.1 通过远程工具连接master和slaver
2.3.2 在master中授权一个账户
作用：授权一个账户，可以访问主节点，进行日志复制
1、进入 master容器
docker exec -it mysql-master /bin/bash
2）mysql8.0版本以下
GRANT REPLICATION SLAVE ON *.* to 'backup'@'%' identified by '123456'
3）mysql8.0版本以上
CREATE USER 'backup'@'%' IDENTIFIED BY '123456';
alter user 'backup'@'%' identified with mysql_native_password by '123456';
4）查看 master 状态
show master status;
file：二进制日志名称
2.3.3 配置 slaver 同步 master 数据
1）进入 slaver 容器
docker exec -it mysql-slaver-01 /bin/bash
2）设置主库连接
change master to master_host='127.0.0.1',master_user='backup',master_password='123456',master_log_file='mysql-bin.000001',master_log_pos=0,master_port=3316;
作用：告诉mysql，slaver需要连接那个master节点
3）启动从库同步
作用：从库开启备份主库功能
start slave
如果不想继续同步，则使用stop slave
4）查看从库状态
show slave status
5）Slave_IO_Running: No问题排查
-
可能原因一：MySQL的uuid是唯一的，查看主从机器的uuid是否唯一。
查看文件：/var/lib/mysql/auto.cnf
查看结果：主从机器的uuid不一样，此可能性被排除。 -
可能原因二：确认server-id是否唯一。
查看文件：/etc/mysql/my.cnf
查看结果：主从机器的server-id唯一，此可能性被排除。 -
可能性三：因为从库MySQL重启导致二进制文件位置从库和主库不一致
主库：show master status\G
从库：show slave status\G
2.3.4 将数据库进行导入
1）在master节点中导入数据库
2）刷新slave查看数据库是否同步过来
此时：主从复制就已经搭建完成