分表分库与分区的区别及拆分策略

上一篇 << 下一篇 >>>MyCat的分片查询原理

---

分表分库与分区的区别
相同目的：解决并发能力、I/O 性能提升、将一张大表分成若干小表，业务同时访问多个表。
(物理)分表：一张表分成N多个小表
(物理/逻辑)分区：把一张表的数据分成N多个区块，这些区块可以在同一个磁盘上，也可以在不同的磁盘上。
分区并不是生成新的数据表，而是将表的数据均衡分摊到不同的硬盘，系统或是不同服务器存储介子中，实际上还是一张表。

1.分表分库存在的问题

1、自增ID问题
2、数据关联查询问题
3、数据同步问题

2.自增ID问题解决办法

a、设置数据库的步长
缺点：步长确定后，无法扩展新的mysql，不然生成步长的规则可能会发生变化。

查询自增的步长
SHOW VARIABLES LIKE 'auto_inc%'
修改自增的步长
SET @@auto_increment_increment=10;
修改起始值
SET @@auto_increment_offset=5;
假设有两台mysql数据库服务器
节点①自增  1 3 5 7 9 11 ….
节点②自增  2 4 6 8 10 12 ….

b、UUID形式，缺点是不能排序
c、使用雪花算法或redis解决

3.数据库分表分库策略

3.1垂直拆分

垂直拆分就是根据不同的业务，分为不同的数据库，比如会员数据库、订单数据库、支付数据库等，垂直拆分在大型电商系统中用的非常常见。
优点：拆分后业务清晰，拆分规则明确，系统之间整合或扩展容易。
缺点：
a、部分业务表无法join，只能通过接口方式解决，提高了系统复杂度
b、存在分布式事务问题。

3.2水平拆分

水平拆分是按照某个字段的某种规则，把同一个表分散到不同的数据库中，每个表中包含一部分数据
优点：该方式提高了系统的稳定性跟负载能力
缺点：跨库join性能较差

3.3水平拆分策略

3.3.1 求模算法

根据id进行十进制求摸运算，运算结果为分区索引
注意：数据库节点分片数量无法更改，和ES集群非常相似的。

   
        
            id
            mod-long
        
    
    
        
        3
 


create table user(id bigint not null auto_increment primary key,name varchar(100));

INSERT INTO `user`(`id`,`name`) 
VALUES 
(1,'dd'),
(2,'tt'),
(3,'cc'),
(4,'ww'),
(5,'kk');

select * from `user`;

3.3.2 分片枚举

根据不同的枚举常量，进行分类存储

1.案例步骤：
创建数据库userdb_1 、 userdb_2、userdb_3 
2.修改partition-hash-int.txt 规则
wuhan=0
shanghai=1
suzhou=2
规则：

    
             
                
                name
                
                hash-int
                
    
    
        
        partition-hash-int.txt
        
        1
        
        1
    

3.3.3、范围约定--此分片适用于提前规划好分片字段某个范围属于哪个分片

3.3.4、日期指定--按日期（天）分片

3.3.5、固定分片hash算法---类似于Hashmap，缺点是数据分布不均匀

3.3.6、通配取模

3.3.7、ASCII码求模通配

3.3.8、编程指定

3.3.9、字符串拆分hash解析

tips:
配置好之后，mycat链接的控制平台无法直接打开表，但可以用sql语句进行查询和执行操作。
原因：每次查询表的时候都会携带逻辑库的名字

---

推荐阅读：
<< << << << << <<