MyCat分片规则

MyCat是一个开源的数据库中间件,它可以实现对MySQL数据库进行分片和负载均衡。在分片规则方面,MyCat支持以下几种常见的分片方式:

范围分片

根据指定的字段及其配置的范围与数据节点的对应情况, 来决定该数据属于哪一个分片。

MyCat分片规则_第1张图片

配置

schema.xml逻辑表配置:

schema.xml 数据节点配置:


rule.xml 分片规则配置:


id
rang-long



autopartition-long.txt
0
分片规则配置属性含义:
属性
描述
columns
标识将要分片的表字段
algorithm
指定分片函数与 function 的对应关系
class
指定该分片算法对应的类
mapFile
对应的外部配置文件
type
默认值为 0 ; 0 表示 Integer , 1 表示 String
defaultNode
默认节点 默认节点的所用 : 枚举分片时 , 如果碰到不识别的枚举值 , 就让它路由到默认节点 ; 如果没有默认值 , 碰到不识别的则报错 。
rule.xml 中配置分片规则时,关联了一个映射配置文件 autopartition-long.txt ,该配置文
件的配置如下:
# range start-end ,data node index
# K=1000,M=10000.
0-500M=0
500M-1000M=1
1000M-1500M=2
含义: 0-500 万之间的值,存储在 0 号数据节点 ( 数据节点的索引从 0 开始 ) 500 -1000 万之间的
数据存储在 1 号数据节点 ; 1000 -1500 万的数据节点存储在 2号节点 ; 该分片规则,主要是针对于数字类型的字段适用。 在 MyCat 的入门程序中,我们使用的就是该分片规 则。
 

取模分片 

根据指定的字段值与节点数量进行求模运算,根据运算结果, 来决定该数据属于哪一个分片。
MyCat分片规则_第2张图片

配置

schema.xml逻辑表配置: 

schema.xml 数据节点配置:


rule.xml 分片规则配置:


id
mod-long



3
分片规则属性说明如下:
属性
描述
columns
标识将要分片的表字段
algorithm
指定分片函数与 function 的对应关系
class
指定该分片算法对应的类
count
数据节点的数量
该分片规则,主要是针对于数字类型的字段适用。 在前面水平拆分的演示中,我们选择的就是取模分片。

一致性hash分片

所谓一致性哈希,相同的哈希因子计算值总是被划分到相同的分区表中,不会因为分区节点的增加而改变原来数据的分区位置,有效的解决了分布式数据的拓容问题。

MyCat分片规则_第3张图片 配置

schema.xml 中逻辑表配置:

schema.xml 中数据节点配置:


rule.xml 中分片规则配置:


id
murmur



0
3
160
分片规则属性含义:
属性
描述
columns
标识将要分片的表字段
algorithm
指定分片函数与 function 的对应关系
class
指定该分片算法对应的类
seed
创建 murmur_hash 对象的种子,默认 0
count
要分片的数据库节点数量,必须指定,否则没法分片
virtualBucketTimes
一个实际的数据库节点被映射为这么多虚拟节点,默认是 160 倍,也就是虚拟节点数是物理节点数的160
;virtualBucketTimes*count 就是虚拟结点数量 ;
weightMapFile
节点的权重,没有指定权重的节点默认是 1 。以 properties 文件的格式填写,以从0 开始到 count-1 的整数值也就是节点索引为 key ,以节点权重值为值。所有权重值必须是正整数,否则以1 代替
bucketMapPath
用于测试时观察各物理节点与虚拟节点的分布情况,如果指定了这个属性,会把虚拟节点的murmur hash 值与物理节点的映射按行输出到这个文件,没有默认值,如果不指定,就不会输出任何东西

枚举分片

通过在配置文件中配置可能的枚举值 , 指定数据分布到不同数据节点上 , 本规则适用于按照省份、性
别、状态拆分数据等业务 。
MyCat分片规则_第4张图片

配置

schema.xml中逻辑表配置:


 schema.xml中数据节点配置:



rule.xml 中分片规则配置:


sharding_id
hash-int





status
hash-int



2
partition-hash-int.txt
partition-hash-int.txt ,内容如下 :
1=0
2=1
3=2
分片规则属性含义:
属性
描述
columns
标识将要分片的表字段
algorithm
指定分片函数与 function 的对应关系
class
指定该分片算法对应的类
mapFile
对应的外部配置文件
type
默认值为 0 ; 0 表示 Integer , 1 表示 String
defaultNode
默认节点 ; 小于 0 标识不设置默认节点 , 大于等于 0 代表设置默认节点 ; 默认节点的所用: 枚举分片时 , 如果碰到不识别的枚举值 , 就让它路由到默认节点 ; 如果没有默认值 , 碰到不识别的则报错 。

应用指定算法

运行阶段由应用自主决定路由到那个分片 , 直接根据字符子串(必须是数字)计算分片号。
MyCat分片规则_第5张图片

配置

schema.xml中逻辑表配置:


 schema.xml中数据节点配置:



rule.xml 中分片规则配置:


id
sharding-by-substring



0 
2
3
0
分片规则属性含义:
属性
描述
columns
标识将要分片的表字段
algorithm
指定分片函数与 function 的对应关系
class
指定该分片算法对应的类
startIndex
字符子串起始索引
size
字符长度
partitionCount
分区 ( 分片 ) 数量
defaultPartition
默认分片 ( 在分片数量定义时 , 字符标示的分片编号不在分片数量内时 , 使用默认分片)
示例说明 :
id=05-100000002 , 在此配置中代表根据 id 中从 startIndex=0 ,开始,截取 siz=2 位数字即
05 05 就是获取的分区,如果没找到对应的分片则默认分配到 defaultPartition

固定分片hash算法 

该算法类似于十进制的求模运算,但是为二进制的操作,例如,取 id 的二进制低 10 位 与
1111111111 进行位 & 运算,位与运算最小值为 0000000000 ,最大值为 1111111111 ,转换为十
进制,也就是位于 0-1023 之间。
MyCat分片规则_第6张图片
特点:
  • 如果是求模,连续的值,分别分配到各个不同的分片;但是此算法会将连续的值可能分配到相同的分片,降低事务处理的难度。
  • 可以均匀分配,也可以非均匀分配。
  • 分片字段必须为数字类型。
配置
schema.xml 中逻辑表配置:

schema.xml 中数据节点配置:


rule.xml 中分片规则配置:


id
sharding-by-long-hash




2,1
256,512
分片规则属性含义:
属性
描述
columns
标识将要分片的表字段名
algorithm
指定分片函数与 function 的对应关系
class
指定该分片算法对应的类
partitionCount
分片个数列表
partitionLength
分片范围列表
约束 :
  • 分片长度 : 默认最大2^10 , 1024 ;
  • count, length的数组长度必须是一致的 ;
以上分为三个分区 :0-255,256-511,512-1023

字符串hash解析算法

截取字符串中的指定位置的子字符串 , 进行 hash 算法, 算出分片。
MyCat分片规则_第7张图片

配置

schema.xml中逻辑表配置:


 schema.xml中数据节点配置:


rule.xml 中分片规则配置:


name
sharding-by-stringhash



512 
2
0:2
分片规则属性含义:
属性
描述
columns
标识将要分片的表字段
algorithm
指定分片函数与 function 的对应关系
class
指定该分片算法对应的类
partitionLength
hash 求模基数 ; length*count=1024 ( 出于性能考虑 )
partitionCount
分区数
hashSlice
hash 运算位 , 根据子字符串的 hash 运算 ; 0 代表 str.length()
, -1 代表 str.length()-1 , 大于 0 只代表数字自身 ; 可以理解
substring start end ), start 0 则只表示 0

按天分片算法

按照日期及对应的时间周期来分片。
MyCat分片规则_第8张图片

配置

schema.xml中逻辑表配置:


 schema.xml中数据节点配置:



rule.xml 中分片规则配置:


create_time
sharding-by-date



yyyy-MM-dd
2022-01-01
2022-01-30
10

分片规则属性含义:
属性
描述
columns
标识将要分片的表字段
algorithm
指定分片函数与 function 的对应关系
class
指定该分片算法对应的类
dateFormat
日期格式
sBeginDate
开始日期
sEndDate
结束日期,如果配置了结束日期,则代码数据到达了这个日期的分片后,会重复从开始分片插入
sPartionDay
分区天数,默认值 10 ,从开始日期算起,每个 10 天一个分区

自然月分片

使用场景为按照月份来分片 , 每个自然月为一个分片。
MyCat分片规则_第9张图片

配置

schema.xml中逻辑表配置:


 schema.xml中数据节点配置:



rule.xml 中分片规则配置:


create_time
partbymonth



yyyy-MM-dd
2022-01-01
2022-03-31

分片规则属性含义:
属性
描述
columns
标识将要分片的表字段
algorithm
指定分片函数与 function 的对应关系
class
指定该分片算法对应的类
dateFormat
日期格式
sBeginDate
开始日期
sEndDate
结束日期,如果配置了结束日期,则代码数据到达了这个日期的分片后,会重复从开始分片插入

你可能感兴趣的:(运维,数据库,mysql)