MyCat分片集群

MyCat分片集群

数据库集群会产生的问题:

   自增ID问题

   数据关联查询问题(水平拆分)

   数据同步问题

 

数据库集群 自动增长id产生重复的话,解决: UUID形式  (没有排序 不是自增) 设置数据库步长

 其他方案: redis  或者雪花算法

 

数据库分库分表的策略:

  

数据库分表分库策略

数据库分表分库原则遵循 垂直拆分与水平拆分
垂直拆分就是根据不同的业务,分为不同的数据库,比如会员数据库、订单数据库、支付数据库等,垂直拆分在大型电商系统中用的非常常见。
优点:
拆分后业务清晰,拆分规则明确,系统之间整合或扩展容易。
缺点:
部分业务表无法join,只能通过接口方式解决,提高了系统复杂度存在分布式事务问题。

 

 

数据库分表分库原则遵循 垂直拆分与水平拆分

垂直拆分是把不同的表拆到不同的数据库中,而水平拆分是把同一个表拆到不同的数据库中。
   相对于垂直拆分,水平拆分不是将表的数据做分类,而是按照某个字段的某种规则来分散到多个库之中,每个表中包含一部分数据。简单来说,我们可以将数据的水平切分理解为是按照数据行的切分,就是将表中 的某些行切分到一个数据库,而另外的某些行又切分到其他的数据库中,主要有分表,分库两种模式
该方式提高了系统的稳定性跟负载能力,但是跨库join性能较差。

 

 在数据库分库分表原则中,遵循两个设计理论 垂直拆分 水平拆分

 垂直拆分就是根据不同的业务,拆分成不同的数据库,比如会员数据库,订单数据库,支付数据库,消息数据库等。

 垂直拆分缺点:

    跨数据查询 必须采用接口形式通讯、分布式事务问题 

   

 垂直拆分把不容的表拆到不同的数据库中,而水平拆分是把同一个表拆分到不同的数据库中,或者把一张表的数据拆分n多个小表

  

如果一张表6条数据:

  变成三个库 每个库中存放两条数据,一共三张表,三张表的结构是完全相同的。三个库进行均摊存放

  

   在存的时候根据ID取模存放

   在查询时候依然根据取模算法进行获取

   拆分的好处: 如果数据量大的情况下,就算用索引也就那样。但是进行水平拆分就好了很多

  MyCat分片集群_第1张图片

 

   水平分片策略:

     

MyCat支持10种分片策略
1、求模算法
2、分片枚举
3、范围约定
4、日期指定
5、固定分片hash算法
6、通配取模
7、ASCII码求模通配
8、编程指定
9、字符串拆分hash解析
详细:http://www.mycat.io/document/mycat-definitive-guide.pdf

 

  关于分片枚举:

分片枚举这种规则适用于特定的场景,比如有些业务需要按照省份或区县来做保存,而全国的省份区县固定的,这类业务使用这一规则。配置如下
1.案例步骤:
创建数据库userdb_1 、 userdb_2、userdb_3
2.修改partition-hash-int.txt 规则
wuhan=0
shanghai=1
suzhou=2

详细配置请参考文档

根据地区进行分库 湖北数据库、江苏数据库 山东数据库  (三张表)

   

分片枚举算法就是根据不同的枚举(常量),进行分类存储。

可以使用分片枚举实现根据地区分类存储到不同数据库进行存放

 

环境搭建:

 定义枚举(地区)  每个地区指定数据库存放位置

schema.xml:

 




    
    
     
      
    
    
    
    
        select user()
        
        
            
            
        
    
 
  

 

rule.xml:





 
    
             
                  < !-- 表示根据name字段进行分片存储的 -->
                  name
                hash-int
                
    
     
    
        
        partition-hash-int.txt
         
        1
         
        1
    
    

注意在实际应用时候 把rule.xml的注释去除掉

 

server.xml:





   

   
    
        123456
        mycat_testdb

        
        
    

    
    
        user
        mycat_testdb
        true
    

 

 

查询端口号被哪个进程占用:

 netstat -tunlp | grep 8080

kill -9  666

 

分片规则:

wuhan=0
shanghai=1
suzhou=2

 

启动mycat

然后navicat工具连接之:

往mycat表的虚拟表里面写数据:会映射到实际物理数据库的表里面

MyCat分片集群_第2张图片

映射的物理数据库:

MyCat分片集群_第3张图片

 如果分片枚举没有的 根据配置会存储到 db2中!

 

结构图:

MyCat分片集群_第4张图片

 

 

求模算法:根据ID去进行十进制求模运算,运算结果为分区索引

 注意:数据库节点分片数量无法更改 (和ES集群非常类似)

 schema.xml




    
    
       
    
select user()

rule.xml





 
   
        
             
            id
            
            mod-long
        
    
 
    
        
        3


    

 

   server.xml

 





   

   
    
        123456
        mycat_testdb

        
        
    

    
    
        user
        mycat_testdb
        true
    

 

mycat连接到读的虚拟数据库

然后在真实物理数据库上面创建 user_db1 user_db2 user_db3

在Myca的写权限的虚拟数据库创建表:

此时的其他的物理数据库里面也会刷新数同样的表

MyCat分片集群_第5张图片

 然后在write里面写入数据

MyCat分片集群_第6张图片

会根据ID取模,分片到不同的物理数据库里面

你可能感兴趣的:(MyCat)