PostgreSQL分布式id-雪花算法snowflake
观看视频
基础知识
基本原理:由4部份组成一个64字节的整数(bigint).
- 字节计算读取顺序从左至右,下标计数从0开始.
- 第0位为符号位:正数是0,负数是1.但是有些语言没有无符号整数(java\PostgreSQL),为保证可移植性因此固定为0。
- 第1-41位为时间戳:单位为毫秒,时间戳只有41位,所以值范围为0-2199023255551毫秒,最多可以存储69年的数据.因为值范围较小,不能直接使用UNIX时间戳，应该使用时间戳的差值(当前时间-你指定的开始时间).你指定的开始时间可以是任意时间,比如系统于2020年开始开发,这个时间可以指定为2020-1-1.
select (2199023255551::bigint) / (24::bigint * 60 * 60 * 1000) / 365
- 第42-51位为机器id:可以自己组合这10bit数据.例如:如果主机都在C类IP段之内(0-255),可以取IP地址的最后一位做为机器id.此时只需要8字节即可,多出来的2字节可以分配给时间戳,此时时间戳占用43字节,值范围为0-8796093022207,存储范围可以扩大至278年.
select (((1::bigint)<<43) - 1) / (24::bigint * 60 * 60 * 1000) / 365
- 第52-63位顺序号:值范围为0-4095,为同一时间戳同一个机器可以生成的ID个数,也就是同一毫秒同一个机器最多可以生成4095个ID.
select (((1::bigint)<<12) - 1)
位运算技巧
要设置bit位的任一1位为0时,将该位设置为0,其它位设置为1,然后执行&运算.例如将第7位设置为0
select (32767::bit(16)) & x'FF7F'
-- 32767二进制表示为 01111111 11111111
-- FF7F二进制表示为 11111111 01111111
-- 结果 01111111 01111111
要设置bit位的任一1位为1时,将该位设置为1,其它位设置为0,然后执行|运算.例如将第7位设置为1
select (0::bit(16)) & x'0080'
-- 0二进制表示为 00000000 00000000
-- 0080二进制表示为 00000000 10000000
-- 结果 00000000 10000000
用SQL实现雪花算法snowflake
select
id>>22,
((id<<41)&9223372036854775807)>>53,
((id<<51)&9223372036854775807)>>51
from (select (((2199023255551::bigint)<<22) | (1023<<12) | 4095 ) as id) as tmp
- 2199023255551:为时间戳的最大值
- 1023:为机器id的最大值
- 4095:为顺序号的最大值
- 注意:如果输入值超过最大值将无法还原数据,因此在生成时必须先范围范围是否在有效范围内.
- 9223372036854775807是确保符号位设置0,因为算法规定符号位必须0.
--9223372036854775807的二进制
0111111111111111111111111111111111111111111111111111111111111111
- 在机器id和顺序号左移位时必须保持符号位,因此机器id左移41位,顺序号左移51位.左移位完成后,符号位不一定为0,因此在左移位后必须保证符号位为0.
变种
在使用分布式程序时,此时同一毫秒内同一台机器只会产生很少量的序列号,因此可以将工作机器id扩充至12位、14位、16位,序列号使用10位、8位、6位.具体如何选择请结合需求.
- 工作机器id12位值范围:1-4095
- 工作机器id14位值范围:1-16383
- 工作机器id16位值范围:1-65535
- 序列号10位值范围:1-1023
- 序列号8位值范围:1-255
- 序列号6位值范围:1-63
工作机器id12位，序列号10位
select
id>>22,
((id<<41)&9223372036854775807)>>51,
((id<<53)&9223372036854775807)>>53
from (select (((2199023255551::bigint)<<22) | (4095<<10) | 1023 ) as id) as tmp
工作机器id14位，序列号8位
select
id>>22,
((id<<41)&9223372036854775807)>>49,
((id<<55)&9223372036854775807)>>55
from (select (((2199023255551::bigint)<<22) | (16383<<8) | 2 ) as id) as tmp
工作机器id16位，序列号6位
select
id>>22,
((id<<41)&9223372036854775807)>>47,
((id<<57)&9223372036854775807)>>57
from (select (((2199023255551::bigint)<<22) | (65535<<6) | 63 ) as id) as tmp