MySQL笔记（分库分表）

摘自 https://zhuanlan.zhihu.com/p/50650224
参考
https://tech.meituan.com/2016/11/18/dianping-order-db-sharding.html
https://crossoverjie.top/2019/07/24/framework-design/sharding-db-03/
https://zhuanlan.zhihu.com/p/50652826

需要考虑分库分表的场景

规划期内的数据量和性能问题，尝试能否用下列方式解决：

• 当前数据量：如果没有达到几百万至千万，通常无需分库分表；
• 数据量问题：增加磁盘、增加分库(不同的业务功能表，整表拆分至不同的数据库)；
• 性能问题：升级CPU/内存、读写分离、优化数据库系统配置、优化数据表/索引、优化 SQL、分区、数据表的垂直切分；
• 最后数据表的水平切分。

建议的规划期：预估未来三年的数据量

分库分表引入的问题

分布式事务

若两阶段/三阶段提交对性能损耗过大，可改用事务补偿机制。

跨节点 JOIN

规避方案
全局表: 一些稳定的共用数据表，在各个数据库中都保存一份；
字段冗余: 一些常用的共用字段，在各个数据表中都保存一份；
应用组装：应用获取数据后再组装。
最近关联：某个 ID 的用户信息在哪个节点，他的关联数据(比如订单)也在哪个节点，可以避免分布式查询。

跨节点聚合

只能在应用程序端完成。
但对于分页查询，每次大量聚合后再分页，性能欠佳。

节点扩容

节点扩容后，新的分片规则导致数据所属分片有变，因而需要迁移数据。

全局ID生成策略

DB自动增长列

1. 设置自增偏移和步长

## 假设总共有 10 个分表
## 级别可选: SESSION(会话级), GLOBAL(全局)
SET @@SESSION.auto_increment_offset = 1; ## 起始值, 分别取值为 1~10
SET @@SESSION.auto_increment_increment = 10; ## 步长增量

2. 全局ID映射表
   在全局 Redis 中为每张数据表创建一个 ID 的键，记录该表当前最大 ID；
   每次申请 ID 时，都自增 1 并返回给应用；
   Redis 要定期持久至全局数据库。

COMB

参考资料：The Cost of GUIDs as Primary Keys
组合 GUID(10字节) 和时间(6字节)，达到有序的效果，提高索引性能。

Snowflake

1bit: 符号位，总是 0(为了保证数值是正数)。
41bit: 毫秒数(可用 69 年)；
10bit: 节点ID(5bit数据中心 + 5bit节点ID，支持 32 * 32 = 1024 个节点)
12bit: 流水号(每个节点每毫秒内支持 4096 个 ID，相当于 409万的 QPS，相同时间内如 ID 遇翻转，则等待至下一毫秒)

扩展开源库
UidGenerator
Leaf

分片策略

分片策略	原理	缺点	优点
连续分片	根据特定字段(比如用户ID、订单时间)的范围，值在该区间的，划分到特定节点。	如果按时间划分，数据热点分布不均(历史数冷当前数据热)，导致节点负荷不均。	集群扩容后，指定新的范围落在新节点即可，无需进行数据迁移。
MOD	根据ID取模	扩容后需要迁移数据
一致性Hash算法	环形hash空间;映射数据到环;映射节点到环;数据顺时针取最近节点存储		扩容后无需迁移数据

分库分表方案

方案	原理	中间件
代理层	部署一台代理服务器伪装成 MySQL 服务器，代理服务器负责与真实 MySQL 节点的对接，应用程序只和代理服务器对接	MyCAT; Sharding-Sphere
应用层	业务层和 JDBC 层中间，是以 JAR 包方式提供给应用调用，对代码有侵入性	Sharding-Sphere

节点扩容方案

常规方案

如果增加的节点数和扩容操作没有规划，那么绝大部分数据所属的分片都有变化，需要在分片间迁移：

1. 预估迁移耗时，发布停服公告；
2. 停服(用户无法使用服务)，使用事先准备的迁移脚本，进行数据迁移；
3. 修改为新的分片规则；
4. 启动服务器。

免迁移扩容

采用双倍扩容策略，避免数据迁移。扩容前每个节点的数据，有一半要迁移至一个新增节点中，对应关系比较简单。
具体操作如下(假设已有 2 个节点 A/B，要双倍扩容至 A/A2/B/B2 这 4 个节点)：

1. 无需停止应用服务器；
2. 新增两个数据库 A2/B2 作为从库，设置主从同步关系为：A=>A2、B=>B2，直至主从数据同步完毕(早期数据可手工同步)；
3. 调整分片规则并使之生效：
   原 ID%2=0 => A 改为 ID%4=0 => A, ID%4=2 => A2；
   原 ID%2=1 => B 改为 ID%4=1 => B, ID%4=3 => B2。
4. 解除数据库实例的主从同步关系，并使之生效；
5. 至此完成扩容
6. 择机清除冗余数据