基于MyCat构建MySQL数据库集群
一、前言
MySQL数据库集群是一个分布式系统，它为处理大量数据提供了高可用性、可扩展性和改进的性能。MyCat是一个开源的数据库中间件，可以有效地构建这样一个集群。
MyCat通过提供数据分片、负载平衡和读/写拆分等功能，简化了MySQL数据库集群的管理过程。通过将数据分布在多个节点上，MyCat实现了并行处理，增强了查询性能，并提供了容错能力。
二、MySQL-Replication
MySQL复制，也称为主-从复制，是一个将数据从一个MySQL数据库（主数据库）自动复制到一个或多个其他MySQL数据库（从数据库）的过程。这种复制机制允许在数据库系统中实现数据冗余、提高性能和增强容错能力。
在MySQL复制中，主数据库是数据的主要来源，而从数据库则从主数据库复制数据。对主数据库所做的任何更改（如插入、更新或删除）都会自动传播到从属数据库，从而确保整个复制拓扑中的数据一致性。
1.Master数据库：Master数据库是数据的主要来源，它接收并处理来自应用程序或客户端的写入操作（数据修改）。
2.从数据库：从数据库从主数据库复制数据。他们接收并应用在主机上所做的更改，确保数据在所有复制副本中保持一致。
3.二进制日志：二进制日志是由主数据库维护的文件，以二进制格式记录所有数据修改（插入、更新、删除）。从数据库使用二进制日志来获取和应用更改。
4.复制线程：MySQL使用两个主线程进行复制：I/O线程和SQL线程。I/O线程从主线程读取二进制日志并将其发送到从线程。SQL线程从I/O线程接收复制的事件，并将它们应用于从属数据库。
三、实战案例
实验环境：五台服务器，其中四台安装MySQL5.7，修改主机名，所有服务器都配置域名解析（如下图）。
vim /etc/hosts
1.一主一从（M-S）(1)
(第一个实验只会用到master1、master2)
实验步骤：
在master1上操作:
<1>开启MySQL的二进制日志，进入MySQL的配置文件：/etc/my.cnf
[root@master01 ~]# vim /etc/my.cnf
在文件末尾添加：
log_bin
server-id=1
重启MySQL服务：[root@master01 ~]# systemctl restart mysqld
<2>创建复制用户：
[root@master01 ~]# mysql -uroot -p123456
mysql > grant replication slave, replication client on *.* to 'rep'@'192.168.188.%' identified by '123456';
<3>备份master1数据：
[root@master01 ~]# mysqldump -p'123456' --all-databases --single-transaction --master-data=2 --flush-logs > `date +%F`-mysql-all.sql
<4> 将备份的sql文件发送给master2：
[root@master01 ~]# scp -r 2023-08-17-mysql-all.sql master2:/tmp
<5> 观察二进制日志分割点：
[root@master01 ~]# vim 2023-08-17-mysql-all.sql
<6> 准备数据验证主从同步：mysql> create database master1db;
mysql> create table master1db.master1tab(id int);
mysql> insert into master1db.master1tab values(11111111);
在master2上操作:
<1> 测试rep用户是否可用:
[root@master02 ~]# mysql -h master1 -urep -p'123456'
<2> 启动服务器序号:
[root@master02 ~]# vim /etc/my.cnf
重启MySQL服务：[root@master02 ~]# systemctl restart mysqld
<3> 手动同步数据：
mysql> set sql_log_bin=0;
mysql> source /tmp/2023-08-17-mysql-all.sql
<4> 设置主服务器：
mysql> change master to
-> master_host='master1',
-> master_user='rep',
-> master_password='123456'，
-> master_log_file='master01-bin.000002',
-> master_log_pos=154;
<5> 启动从设备：mysql> slave start;
<6> 查看启动状态：
mysql> show slave status\G
返回主服务器（master1）更新数据，在从服务器（master2）观察是否同步。
-------------------------------------------------实验一到此结束---------------------------------------------------
2.一主一从（M-S）(2)
在master2上操作:
重置master2数据库：
[root@master02 ~]# systemctl stop mysqld
[root@master02 ~]# rm -rf /var/lib/mysql/*
[root@master02 ~]# systemctl start mysqld
[root@master02 ~]# grep password /var/log/mysqld.log
[root@master02 ~]# mysqladmin -uroot -p'zRIUdUFwp2.n' password '123456'
在master1上操作:
<1> 启动二进制日志，服务器ID，GTID ：
[root@master01 ~]# vim /etc/my.cnf
重启MySQL服务：[root@master01 ~]# systemctl restart mysqld
<2> 授权复制用户rep（略）:
在实验一中对rep用户已经授权。
<3> 备份数据：
[root@master01 ~]# mysqldump -p'123456' --all-databases --single-transaction --master-data=2 --flush-logs > `date +%F-%H`-mysql-all.sql
[root@master01 ~]# scp -r 2023-08-18-07-mysql-all.sql master2:/tmp
<4> 模拟数据变化：mysql> insert into master1db.master1tab values(33333333);
在master2上操作:
<1> 测试rep用户是否可用:
[root@master02 ~]# mysql -h master1 -urep -p'123456'
<2> 启动二进制日志，服务器ID，GTID:
[root@master01 ~]# vim /etc/my.cnf
在文件末尾添加三行：
log_bin
gtid_mode=ON
enforce_gtid_consistency=1重启MySQL服务：[root@master01 ~]# systemctl restart mysqld
<3> 还恢复手动同步数据:
mysql> set sql_log_bin=0;
mysql> source /tmp/2023-08-18-07-mysql-all.sql
mysql> select * from master1db.master1tab;
<4> 设置主服务器:
mysql> change master to
master_host='master1',
master_user='rep',
master_password='123456',
master_auto_position=1;<5> 启动从设备：
mysql> slave start;
<6> 查看启动状态：
mysql> show slave status\G
-------------------------------------------------实验二到此结束---------------------------------------------------
3. 双主双从（MM-SS）
设置master2为master1的主服务器：
在master2上操作:
在master2上进行授权：
mysql> grant replication slave, replication client on *.* to 'rep'@'192.168.188.%' identiified by 'QianFeng@123';
mysql> flush privileges;
在master1上操作:
<1> 设置master2为master1的主服务器:
mysql> change master to
master_host='master2',
master_user='rep',
master_password='123456',
master_auto_position=1;mysql> slave start;
mysql> show slave status\G
<2> 同步现有数据：
[root@master01 ~]# mysqldump -p'123456' --all-databases --single-transaction --master-data=2 --flush-logs > `date +%F`-mysql-all.sql
[root@master01 ~]# scp -r 2023-08-18-mysql-all.sql slave2:/tmp
[root@master01 ~]# scp -r 2023-08-18-mysql-all.sql slave2:/tmp
分别在slave1、slave2上操作:
[root@slave01 ~]# mysql -p'123456' < /tmp/2023-08-18-mysql-all.sql
[root@slave02 ~]# mysql -p'123456' < /tmp/2023-08-18-mysql-all.sql
[root@slave01 ~]#vim /etc/my.cnf
server-id=3
gtid_mode=ON
enforce_gtid_consistency=1
master-info-repository=TABLE
relay-log-info-repository=TABLE[root@slave02 ~]#vim /etc/my.cnf
server-id=4
gtid_mode=ON
enforce_gtid_consistency=1
master-info-repository=TABLE
relay-log-info-repository=TABLE[root@slave01 ~]# systemctl restart mysqld
[root@slave02 ~]# systemctl restart mysqld
在slave1、slave2上都要执行:
mysql> change master to
master_host='master1',
master_user='rep',
master_password='123456',
master_auto_position=1 for channel 'master1';mysql> change master to
master_host='master2',
master_user='rep',
master_password='123456',
master_auto_position=1 for channel 'master2';mysql> slave start;
mysql> show slave status\G
---------------------------------检查I/O线程和SQL线程都为Yes,试验成功！-------------------------------
4.mycat 代理
MyCat是一个强大的数据库中间件，不仅仅可以用作读写分离、以及分表分库、容灾备份，而且可以用于多租户应用开发、云平台基础设施、让你的架构具备很强的适应性和灵活性，借助于即将发布的MyCat只能优化模块，系统的数据访问瓶颈和热点一目了然，根据这些统计分析数据，你可以自动或手工调整后端存储，将不同的表映射到不同存储引擎上，而整个应用的代码一行也不用改变。
在mycat上操作：
<1> 配置java环境：
上传jdk的压缩包到mycat服务器并解压缩：
[root@mycat ~]# tar xf jdk-8u91-linux-x64.tar.gz -C /usr/local/
[root@mycat ~]# ln -s /usr/local/jdk1.8.0_91/ /usr/local/java
[root@mycat ~]# vim /etc/profile
[root@mycat ~]# source /etc/profile
[root@mycat ~]# java -version
java version "1.8.0_91"
Java(TM) SE Runtime Environment (build 1.8.0_91-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.91-b14, mixed mode)<2> 配置MyCat:
上传mycat的压缩包到mycat服务器并解压缩:
[root@mycat ~]# tar xf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz -C /usr/local/
[root@mycat ~]# ls /usr/local/mycat/
<3> 配置mycat前端:
[root@mycat ~]# vim /usr/local/mycat/conf/server.xml
注释掉多余用户（95-99行）：
修改82行设为自己的数据库名：
<4> 配置mycat后端:
备份该文件：
[root@mycat ~]# cp /usr/local/mycat/conf/schema.xml .
[root@mycat ~]# vim /usr/local/mycat/conf/schema.xml
schema name：mycat维护的集群名称。
datanode：后方节点群的名称。
datahost：后方节点群的主机名称。
writehost：写主机
readhost：读主机属性介绍：
balance 类型
1. balance=“0”, 关闭读写分离功能。 所有读操作都发送到当前可用的writeHost上。
2. balance=“1”，开启读写分离 所有读操作都随机的发送到readHost。
writeType 属性
备份型
1. writeType="0", 所有写操作发送到配置的第一个 writeHost， 第一个挂了切到还生存的第二个writeHost， 重新启动后已切换后的为准，切换记录在配置文件中:dnindex.properties 。
负载型
2. writeType="1"，所有写操作都随机的发送到配置的 writeHost。
switchType 模式
switchType指的是切换的模式，目前的取值也有4种：
1. switchType='-1' 负1表示不自动切换。
2. switchType='1' 默认值，表示根据延时自动切换。
3. switchType='2' 根据MySQL主从同步的状态决定是否切换,心跳语句为 select user（）。
在master1上授权：
mysql> grant all on *.* to 'mycatproxy'@'192.168.188.55' identified by '123456';
启动mycat:
[root@mycat ~]# /usr/local/mycat/bin/mycat start
[root@mycat ~]# netstat -anpt | grep java
[root@mycat ~]# ps aux | grep mycat
[root@mycat ~]# yum install -y mariadb
[root@mycat ~]# mysql -hmycat -uroot -p123456 -P8066
Welcome to the MariaDB monitor. Commands end with ; or \g.
Your MySQL connection id is 1
Server version: 5.6.29-mycat-1.6-RELEASE-20161028204710 MyCat Server (OpenCloundDB)Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
MySQL [(none)]> show databases;
+----------+
| DATABASE |
+----------+
| max |
+----------+
1 row in set (0.00 sec)
在master1上创库，创表：
mysql> create database max;
Query OK, 1 row affected (0.00 sec)mysql> create table max.t1 (id int);
Query OK, 0 rows affected (0.02 sec)
在mycat插入数据：
MySQL [(none)]> insert into max.t1 values(3);
Query OK, 1 row affected (0.09 sec)
在master1上查看：
mysql> select * from max.t1;
+------+
| id |
+------+
| 3 |
+------+
1 row in set (0.00 sec)----------------------------------------mycat代理实验结束-------------------------------------------------------