掌握MySQL分库分表(六)解决主键重复问题--Snowflake雪花算法

文章目录

  • 问题及需求
  • 常用ID解决方案
    • 数据库自增ID
    • UUID
    • Redis发号器
    • Snowflake雪花算法
  • 分布式 ID 生成算法Snowflake原理
    • 关于bit与byte
    • 雪花算法的位数
  • Snowflake必须注意的地方
    • 全局唯⼀、不能重复
    • 保证各个系统时间一致
    • Snowflake雪花算法实现
  • 雪花算法测试结果

问题及需求

单库下⼀般使用Mysql自增ID,但是分库分表后,会造成不同分片上的数据表主键会重复
需求:性能强劲、全局唯一、防止恶意用户规矩id的规则来获取数据

常用ID解决方案

数据库自增ID

利用自增id, 设置不同的⾃增步长:auto_increment_offsetauto-increment-increment

DB1: 单数
//从1开始、每次加2
DB2: 偶数
//从2开始,每次加2

缺点:

  1. 依靠数据库系统的功能实现,但是未来扩容麻烦
  2. 主从切换时的不⼀致可能会导致重复发号
  3. 性能瓶颈存在单台sql上

UUID

性能非常高,没有网络消耗

缺点:

  1. 无序的字符串,不具备趋势自增特性
  2. UUID太长,不易于存储,浪费存储空间,很多场景不适用

Redis发号器

利用Redis的INCR和INCRBY来实现,原子操作,线程安全,性能比Mysql强劲

缺点:

  1. 需要占用网络资源,增加系统复杂度

Snowflake雪花算法

  1. twitter 开源的分布式 ID生成算法,代码实现简单、不占用宽带、数据迁移不受影响
  2. 生成的 id 中包含有时间戳,所以生成的 id按照时间递增
  3. 部署了多台服务器,需要保证系统时间⼀样,机器编号不⼀样

缺点:

  1. 依赖系统时钟(多台服务器时间⼀定要⼀样)

分布式 ID 生成算法Snowflake原理

关于bit与byte

bit(位):电脑中存储的最小单位,可以存储⼆进制中的0或1
byte(字节):⼀个byte由8个bit组成
常规64位系统⾥⾯java数据类型存储字节大小

int:4 个字节
short:2 个字节
long:8 个字节
byte:1 个字节
float:4 个字节
double:8 个字节
char:2 个字节

科普:数据类型在不同位数机器的平台下长度不同

16位平台 int 2个字节16位
32位平台 int 4个字节32位
64位平台 int 4个字节32位

雪花算法的位数

雪花算法生成的数字,long类,所以是:8个byte,64bit
表示的值 -9223372036854775808(-2的63次方)~9223372036854775807(2的63次⽅-1)
生成的唯⼀值⽤于数据库主键,不能是负数,所以值为0~9223372036854775807(2的63次方-1)

  1. 第一个bit位代表符号位,正数是0,负数是1,ID为正数,所以固定为0
  2. 毫秒级时间戳部分占41bit,不是存储当前时间的时间截,服务上线的时间毫秒级的时间戳(为当前时间-服务第一次上线时间)
  3. 工作机器 id占10bit,可支持210 =1024个节点
  4. 序列号部分占12bit,可允许同一毫秒生成212 =4096个Id,则理论上一秒就可生成4096*1000 = 400万个ld
  5. 组合起来刚好是64位,Long类型

Snowflake必须注意的地方

全局唯⼀、不能重复

分布式部署就需要分配不同的workId, 如果workId相同,
可能会导致⽣成的id相同

保证各个系统时间一致

分布式情况下,需要保证各个系统时间⼀致,如果服务器的时钟回拨,就会导致⽣成的 id 重复

什么时候会系统回拨?

  1. 人工去生产环境做了系统时间调整
  2. 业务需求,代码里面做了系统时间同步

Snowflake雪花算法实现

配置文件
增加:

#配置workId
spring.shardingsphere.sharding.tables.product_order.key-generator.props.worker.id=1

方式一:订单id使用MybatisPlus的配置,ProductOrder类配置

@TableId(value = "id", type = IdType.ASSIGN_ID)
默认实现类为DefaultIdentifierGenerator雪花算法

方式二:使用Sharding-Jdbc配置文件,注释DO类里面的id分配策略

#id⽣成策略
spring.shardingsphere.sharding.tables.product_order.key-generator.column=id
spring.shardingsphere.sharding.tables.product_order.key-generator.type=SNOWFLAKE

方式三 进阶:动态指定sharding jdbc 的雪花算法中的属性work.id属性
使用sharding-jdbc中的使用IP后几位来做workId,但在某些情况下会出现生成重复ID的情况
解决办法: 在启动时给每个服务分配不同的workId, 引⼊redis/zk都行,缺点就是多了依赖

配置文件完整

spring.application.name=xdclass-sharding-jdbc
server.port=8080


# 打印执行的数据库以及语句
spring.shardingsphere.props.sql.show=true

# 数据源 db0
spring.shardingsphere.datasource.names=ds0,ds1

# 第一个数据库
spring.shardingsphere.datasource.ds0.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.ds0.driver-class-name=com.mysql.cj.jdbc.Driver
spring.shardingsphere.datasource.ds0.jdbc-url=jdbc:mysql://10.24.201.232:3306/xdclass_shop_order_0?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=Asia/Shanghai&allowPublicKeyRetrieval=true
spring.shardingsphere.datasource.ds0.username=root
spring.shardingsphere.datasource.ds0.password=root


# 第二个数据库
spring.shardingsphere.datasource.ds1.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.ds1.driver-class-name=com.mysql.cj.jdbc.Driver
spring.shardingsphere.datasource.ds1.jdbc-url=jdbc:mysql://10.24.201.232:3306/xdclass_shop_order_1?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=Asia/Shanghai&allowPublicKeyRetrieval=true
spring.shardingsphere.datasource.ds1.username=root
spring.shardingsphere.datasource.ds1.password=root

#配置workId
spring.shardingsphere.sharding.tables.product_order.key-generator.props.worker.id=1



#id生成策略
spring.shardingsphere.sharding.tables.product_order.key-generator.column=id
spring.shardingsphere.sharding.tables.product_order.key-generator.type=SNOWFLAKE

# 指定product_order表的数据分布情况,配置数据节点,行表达式标识符使用 ${...} 或 $->{...},
# 但前者与 Spring 本身的文件占位符冲突,所以在 Spring 环境中建议使用 $->{...}
spring.shardingsphere.sharding.tables.product_order.actual-data-nodes=ds0.product_order_$->{0..1}

# 指定product_order表的分片策略,分片策略包括【分片键和分片算法】
spring.shardingsphere.sharding.tables.product_order.table-strategy.inline.sharding-column=user_id
spring.shardingsphere.sharding.tables.product_order.table-strategy.inline.algorithm-expression=product_order_$->{user_id % 2}

雪花算法测试结果

掌握MySQL分库分表(六)解决主键重复问题--Snowflake雪花算法_第1张图片掌握MySQL分库分表(六)解决主键重复问题--Snowflake雪花算法_第2张图片

可以看出id全局不重复,并呈现出递增增长

你可能感兴趣的:(MySQL分库分表,mysql,性能优化,中间件)