MYSQL分库分表---配置

目录

准备四个数据库 （docker中）

配置主从

配置mycat数据源

全局表配置

分片表配置（重点）

---

 

分库分表目的：解决高并发，和数据量大的问题。

分库：将一个库的数据拆分到相同的库中

分表：将一个表的数据放到多个表中

拆分方式：

1、垂直拆分：

垂直分库：以表为依据，根据业务将不同表拆分到不同库中。

特点：

①每个库的表结构都不一样；

②每个库的数据也不一样；

③所有库的并集是全量数据。

 

垂直分表：以字段为依据，根据字段属性将不同字段拆分到不同表中。

特点：

①每个表的结构都不一样；

②每个表的数据也不一样，一般通过一列（主键/外键）关联；

③所有表的并集是全量数据。两张表以主键id关联。

 

 

2、水平拆分：

水平分库：以字段为依据，按照一定策略，将一个库的数据拆分到多个库中。

特点：

①每个库的表结构都一样；

②每个库的数据都不一样；

③所有库的并集是全量数据。下图为水平分库

 

水平分表：以字段为依据，按照一定的策略，将一个表的数据拆分到多个表中。

特点：

①每个表的表结构都一样；

②每个表的数据都不一样；

③所有表的并集是全量数据。下图为水平分表。

准备四个数据库 （docker中）

 3306端口的mysql也要有。因为mycat默认读3306

名称	ip	port
dw0(主)	192.168.88.138	3312
dr0（从）	192.168.88.138	3313
dw1（主）	192.168.88.138	3314
dr1（从）	192.168.88.138	3315

docker run --name dw0 -p 3312:3306 -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.7 --
lower_case_table_names=1
docker run --name dr0 -p 3313:3306 -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.7 --
lower_case_table_names=1
docker run --name dw1 -p 3314:3306 -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.7 --
lower_case_table_names=1
docker run --name dr1 -p 3315:3306 -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.7 --
lower_case_table_names=1

配置主从

（1）进入目录

 cd /mysqlconf/

（2）写配置文件

vim dw0.cnf
[mysqld]
skip-host-cache
skip-name-resolve
server_id=11
log_bin=mysql-bin

vim dr0.cnf
[mysqld]
skip-host-cache
skip-name-resolve
server_id=12

vim dw1.cnf
[mysqld]
skip-host-cache
skip-name-resolve
server_id=13
log_bin=mysql-bin

vim dr1.cnf
[mysqld]
skip-host-cache
skip-name-resolve
server_id=14

（3）复制到容器

docker cp dw0.cnf dw0:/etc/mysql/conf.d/docker.cnf
docker cp dr0.cnf dr0:/etc/mysql/conf.d/docker.cnf
docker cp dw1.cnf dw1:/etc/mysql/conf.d/docker.cnf
docker cp dr1.cnf dr1:/etc/mysql/conf.d/docker.cnf

（4）重启mysql

docker restart dw0 dr0 dw1 dr1

docker ps -a
CONTAINER ID        IMAGE               COMMAND                  CREATED              STATUS              PORTS                               NAMES
fad436c1dff9        mysql:5.7           "docker-entrypoint..."   About a minute ago   Up About a minute   33060/tcp, 0.0.0.0:3315->3306/tcp   dr1
d50efd6a5abe        mysql:5.7           "docker-entrypoint..."   About a minute ago   Up About a minute   33060/tcp, 0.0.0.0:3314->3306/tcp   dw1
b8a8056e84bd        mysql:5.7           "docker-entrypoint..."   About a minute ago   Up About a minute   33060/tcp, 0.0.0.0:3313->3306/tcp   dr0
88a29c71f40e        mysql:5.7           "docker-entrypoint..."   About a minute ago   Up About a minute   33060/tcp, 0.0.0.0:3312->3306/tcp   dw0
13288f0a928b        mysql:5.7           "docker-entrypoint..."   2 days ago           Up 6 hours          0.0.0.0:3306->3306/tcp, 33060/tcp   mysql1

（5）进入dw0（3312）和dw1（3314）主机创建允许数据同步的用户

docker exec -it dw1 bash
root@d50efd6a5abe:/# mysql -uroot -p123456
mysql> grant replication slave on *.* to rep@'%' identified by '123456';
Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

docker exec -it dw0 bash
root@d50efd6a5abe:/# mysql -uroot -p123456
mysql> grant replication slave on *.* to rep@'%' identified by '123456';
Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

(4)查看bin_log日志状态备用;

3312

mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000001 |      154 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+

3314

ysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000001 |      154 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

(6)进入dr0和dr1配置主从

dr0

change master to
master_host="192.168.88.138",
master_port=3312,
master_user="rep",
master_password="123456",
master_log_file="mysql-bin.000001",
master_log_pos=154;


start slave;

show slave status\G
Slave_IO_Running: Yes
Slave_SQL_Running: Yes

dr1

change master to
master_host="192.168.88.138",
master_port=3314,
master_user="rep",
master_password="123456",
master_log_file="mysql-bin.000001",
master_log_pos=154;


start slave;

show slave status\G
Slave_IO_Running: Yes
Slave_SQL_Running: Yes

配置mycat数据源

1.使用Nacicat连接测试

 2.配置mycat数据源

如果以前配置过数据源要清空

/*+ mycat:resetConfig{}*/

添加dw0数据源
/*+ mycat:createDataSource{
"name":"dw0",
"password":"123456",
"url":"jdbc:mysql://127.0.0.1:3312?useUnicode=true&serverTimezone=UTC&characterEncoding=UTF-8",
"user":"root",} 
*/;

添加dr0数据源
/*+ mycat:createDataSource{
"instanceType":"READ",
"name":"dr0",
"password":"123456", 
"url":"jdbc:mysql://127.0.0.1:3313?useUnicode=true&serverTimezone=UTC&characterEncoding=UTF-8",
"user":"root",} 
*/;

添加dw1数据源
/*+ mycat:createDataSource{
"name":"dw1",
"password":"123456", 
"url":"jdbc:mysql://127.0.0.1:3314?useUnicode=true&serverTimezone=UTC&characterEncoding=UTF-8",
"user":"root",} 
*/;

添加dr1数据源
/*+ mycat:createDataSource{
"instanceType":"READ",
"name":"dr1",
"password":"123456", 
"url":"jdbc:mysql://127.0.0.1:3315?useUnicode=true&serverTimezone=UTC&characterEncoding=UTF-8",
"user":"root",} 
*/;

instanceType：“READ”只有dr0和dr1配置，因为他两只读（这个参数默认是读写）

查看数据源 

3.创建集群

/*! mycat:createCluster{

"name":"c0",
"masters":[
"dw0"
],
"replicas":[
"dr0"
]
} */;
/*! mycat:createCluster{
"name":"c1",
"masters":[
"dw1"
],
"replicas":[
"dr1"
]
} */;

 全局表配置（Navicat中执行）

1、创建数据库及表

CREATE DATABASE db1 DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;

use db1;

CREATE TABLE `sys_dict` (
`id` bigint NOT NULL AUTO_INCREMENT,
`dict_type` int ,
`dict_name` varchar(100) DEFAULT NULL,
`dict_value` int ,
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 BROADCAST;

BROADCAST全局表的标识

查看结果 

2、添加数据查看结果

INSERT INTO sys_dict(dict_type,dict_name,dict_value) VALUES(1,"m",1);
INSERT INTO sys_dict(dict_type,dict_name,dict_value) VALUES(1,"w",0);

 

分片表配置（重点）（Navicat中执行）

1、创建表

use db1
CREATE TABLE orders(
ID BIGINT NOT NULL AUTO_INCREMENT,
ORDER_TYPE INT,
CUSTOMER_ID INT,
AMOUNT DECIMAL(10,2),
PRIMARY KEY(ID)
) ENGINE=INNODB DEFAULT CHARSET=utf8mb4
dbpartition BY mod_hash(CUSTOMER_ID) tbpartition By mod_hash(CUSTOMER_ID)
tbpartitions 1 dbpartitions 2

dbpartition BY mod_hash(CUSTOMER_ID) ： 指定数据库的分片算法及使用哪一条数据进行分片 HASH

tbpartition BY mod_hash(CUSTOMER_ID) ：指定表的分片算法及使用哪一条数据进行分片 HASH

tbpartitions 1 表的分片数量

dbpartitions 2 数据库的分片数量

 

 

 

 2、添加数据

INSERT INTO ORDERS(ID,ORDER_TYPE,CUSTOMER_ID,AMOUNT) VALUES(1,101,100,100101);
INSERT INTO ORDERS(ID,ORDER_TYPE,CUSTOMER_ID,AMOUNT) VALUES(2,101,100,100101);
INSERT INTO ORDERS(ID,ORDER_TYPE,CUSTOMER_ID,AMOUNT) VALUES(3,101,100,100101);
INSERT INTO ORDERS(ID,ORDER_TYPE,CUSTOMER_ID,AMOUNT) VALUES(4,102,101,101102);
INSERT INTO ORDERS(ID,ORDER_TYPE,CUSTOMER_ID,AMOUNT) VALUES(5,102,101,101102);
INSERT INTO ORDERS(ID,ORDER_TYPE,CUSTOMER_ID,AMOUNT) VALUES(6,102,101,101102);

3、查询后台物理库

3312

3314

 在mycat上查询单就是全部数据