【mycat】分库分表

在分库分表时，我们先安装好mycat：https://blog.csdn.net/wangyunzhao007/article/details/107330854

一、垂直切分

按照业务模块进行切分，将不同模块的表切分到不同的数据库中。

垂直切分很简单，我们需要在修改配置文件/usr/local/mycat/conf/schema.xml

	
		
	
	
	
	
		select user()
		
		
		
	
	
                select user()
                
                
                
        

配置分析（我是做了130和129的主从的，复制的库名为zhao，不能用同名的库。其实这里应该用两台主机的地址的，读主机配置自己的从机） 

我们分别登录129和130的mysql，执行以下语句

#登录mysql
mysql -uroot -p123456
#创建orders库
CREATE DATABASE orders;

  然后我们重启mycat

./mycat console

使用mycat数据操作窗口建立四个表，建表语句如下

#登录mycat的数据操作窗口，ip为安装mysql的地址，不用和mysql在一起机器
mysql -umycat -p123456 -h 192.168.157.130 -P8066

建表语句如下：

#客户表 rows:20万
CREATE TABLE customer(
id INT AUTO_INCREMENT,
NAME VARCHAR(200),
PRIMARY KEY(id)
);
#订单表 rows:600万
CREATE TABLE orders(
id INT AUTO_INCREMENT,
order_type INT,
customer_id INT,
amount DECIMAL(10,2),
PRIMARY KEY(id)
);
#订单详细表 rows:600万
CREATE TABLE orders_detail(
id INT AUTO_INCREMENT,
detail VARCHAR(2000),
order_id INT,
PRIMARY KEY(id)
);
#订单状态字典表 rows:20
CREATE TABLE dict_order_type(
id INT AUTO_INCREMENT,
order_type VARCHAR(200),
PRIMARY KEY(id)
);

然后我们可以看到分库成功！ 

二、水平切分

将一张大表按照一定的切分规则，按照行切分到不同的表或者不同的库中。

1.根据字段分类

1)修改配置文件 /usr/local/mycat/conf/schema.xml

为 orders 表设置数据节点为 dn1、 dn2， 并指定分片规则为 mod_rule（自定义的名字）

如下图

2)修改配置文件/usr/local/mycat/conf/rule.xml

1. 在 rule 配置文件里新增分片规则 mod_rule，并指定规则适用字段为 customer_id，
2. 还有选择分片算法 mod-long（对字段求模运算） ， customer_id 对两个节点求模，根据结果分片
3. 配置算法 mod-long 参数 count 为 2，两个节点

    
        customer_id
        mod-long
    

    
    2

 

 3)重启Mycat，让配置生效

./mycat console

4）在数据节点 dn2 上建 orders 表

建表语句如上

5） 插入数据

在 mycat 里向 orders 表插入数据， INSERT 字段不能省略

INSERT INTO orders(id,order_type,customer_id,amount) VALUES (1,101,100,100100);
INSERT INTO orders(id,order_type,customer_id,amount) VALUES(2,101,100,100300);
INSERT INTO orders(id,order_type,customer_id,amount) VALUES(3,101,101,120000);
INSERT INTO orders(id,order_type,customer_id,amount) VALUES(4,101,101,103000);
INSERT INTO orders(id,order_type,customer_id,amount) VALUES(5,102,101,100400);
INSERT INTO orders(id,order_type,customer_id,amount) VALUES(6,102,100,100020);

6）验证是否分片成功

在mycat(使用mycat数据操作窗口登录)、 dn1(130数据库)、 dn2(129数据库)中查看orders表数据，分表成功

 

拓展知识：mycat的分片join 

Orders 订单表已经进行分表操作了，和它关联的 orders_detail 订单详情表如何进行 join 查询。

1)修改 schema.xml 配置文件

 

2)dn2 创建 orders_detail 表

建表语句如上

3)重启mycat

./mycat console

 

4)访问 Mycat的数据操作窗口 向 orders_detail 表插入数据

INSERT INTO orders_detail(id,detail,order_id) values(1,'detail1',1);
INSERT INTO orders_detail(id,detail,order_id) VALUES(2,'detail1',2);
INSERT INTO orders_detail(id,detail,order_id) VALUES(3,'detail1',3);
INSERT INTO orders_detail(id,detail,order_id) VALUES(4,'detail1',4);
INSERT INTO orders_detail(id,detail,order_id) VALUES(5,'detail1',5);
INSERT INTO orders_detail(id,detail,order_id) VALUES(6,'detail1',6);

5) 在mycat、 dn1、 dn2中运行两个表join语句

Select o.*,od.detail from orders o inner join orders_detail od on o.id=od.order_id;

结果如下：

 ​ 

2.全局表

在分片的情况下，当业务表因为规模而进行分片以后，业务表与这些附属的字典表之间的关联，
就成了比较 棘手的问题，考虑到字典表具有以下几个特性：

• 变动不频繁
• 数据量总体变化不大
• 数据规模不大，很少有超过数十万条记录

鉴于此， Mycat 定义了一种特殊的表，称之为“全局表”，全局表具有以下特性：

• 全局表的插入、更新操作会实时在所有节点上执行，保持各个分片的数据一致性
• 全局表的查询操作，只从一个节点获取
• 全局表可以跟任何一个表进行 JOIN 操作

 1)修改 schema.xml 配置文件

  ​

 2)在dn2 创建 dict_order_type 表

建表语句如上

3）重启 Mycat

./mycat console

4)访问 Mycat 向 dict_order_type 表插入数据 

INSERT INTO dict_order_type(id,order_type) VALUES(101,'type1');
INSERT INTO dict_order_type(id,order_type) VALUES(102,'type2');

5)在Mycat、 dn1、 dn2中查询表数据

select * from dict_order_type;

 

3.分片枚举

通过在配置文件中配置可能的枚举 id，自己配置分片，本规则适用于特定的场景，比如有些业务需要按照省份或区县来做保存，而全国省份区县固定的，这类业务使用本条规则。

1） 修改schema.xml配置文件

2） 修改rule.xml配置文件

    
        areacode
        hash-int
    

    partition-hash-int.txt
    1
    0

配置文件标签解释 

 

1.  columns：分片字段， algorithm：分片函数
2.  mapFile： 标识配置文件名称， type： 0为int型、 非0为String，
3. defaultNode： 默认节点:小于 0 表示不设置默认节点，大于等于 0 表示设置默认节点，
4. 设置默认节点如果碰到不识别的枚举值，就让它路由到默认节点，如不设置不识别就报错

3） 修改partition-hash-int.txt配置文件

110=0
120=1

4） 重启 Mycat

代码如上

5） 访问Mycat创建表

#订单归属区域信息表
CREATE TABLE orders_ware_info
(
`id` INT AUTO_INCREMENT comment '编号',
`order_id` INT comment '订单编号',
`address` VARCHAR(200) comment '地址',
`areacode` VARCHAR(20) comment '区域编号',
PRIMARY KEY(id)
);

 6） 插入数据

INSERT INTO orders_ware_info(id, order_id,address,areacode) VALUES (1,1,'北京','110');
INSERT INTO orders_ware_info(id, order_id,address,areacode) VALUES (2,2,'天津','120');

7） 查询Mycat、 dn1、 dn2可以看到数据分片效果

4.范围约定 

此分片适用于，提前规划好分片字段某个范围属于哪个分片。

1） 修改schema.xml配置文件

2） 修改rule.xml配置文件

    
        order_id
        rang-long
    

    autopartition-long.txt
    0

3） 修改autopartition-long.txt配置文件

0-102=0
103-200=1

4） 重启 Mycat

命令如上

5） 访问Mycat的数据操作窗口创建表

#支付信息表
CREATE TABLE payment_info
(
`id` INT AUTO_INCREMENT comment '编号',
`order_id` INT comment '订单编号',
`payment_status` INT comment '支付状态',
PRIMARY KEY(id)
);

6） 插入数据

INSERT INTO payment_info (id,order_id,payment_status) VALUES (1,101,0);
INSERT INTO payment_info (id,order_id,payment_status) VALUES (2,102,1);
INSERT INTO payment_info (id,order_id ,payment_status) VALUES (3,103,0);
INSERT INTO payment_info (id,order_id,payment_status) VALUES (4,104,1);

7） 查询Mycat、 dn1、 dn2可以看到数据分片效果

select * from payment_info;

5.按日期（天）分片

此规则为按天分片。 设定时间格式、范围

1） 修改schema.xml配置文件

2） 修改rule.xml配置文件

    
    login_date
    shardingByDate
    

    yyyy-MM-dd
    2019-01-01
    2019-01-04
    2

配置文件标签解释：

• columns：分片字段， algorithm：分片函数
• dateFormat ：日期格式
• sBeginDate ：开始日期
• sEndDate：结束日期,则代表数据达到了这个日期的分片后循环从开始分片插入
• sPartionDay ：分区天数，即默认从开始日期算起，分隔 2 天一个分区

3） 重启 Mycat

命令如上

4） 访问Mycat数据操作窗口创建表

#用户信息表
CREATE TABLE login_info
(
`id` INT AUTO_INCREMENT comment '编号',
`user_id` INT comment '用户编号',
`login_date` date comment '登录日期',
PRIMARY KEY(id)
);

5） 插入数据

INSERT INTO login_info(id,user_id,login_date) VALUES (1,101,'2019-01-01');
INSERT INTO login_info(id,user_id,login_date) VALUES (2,102,'2019-01-02');
INSERT INTO login_info(id,user_id,login_date) VALUES (3,103,'2019-01-03');
INSERT INTO login_info(id,user_id,login_date) VALUES (4,104,'2019-01-04');
INSERT INTO login_info(id,user_id,login_date) VALUES (5,103,'2019-01-05');
INSERT INTO login_info(id,user_id,login_date) VALUES (6,104,'2019-01-06');

6） 查询Mycat、 dn1、 dn2可以看到数据分片效果

select * from login_info;