分库分表学习笔记(一)

分库分表学习笔记(一)_第1张图片

                                                图源(鹅厂技术架构师公众号)

 MySQL执行顺序:

	FROM:确定数据来源。
	JOIN:执行表之间的连接操作。
	WHERE:过滤记录。
	GROUP BY:对记录进行分组。
	HAVING:对分组结果进行过滤。
	SELECT:选择要返回的列。
	DISTINCT:去除重复记录(如果有)。
	ORDER BY:对结果排序。
	LIMIT:限制返回的记录数量。

分表分库的演进

系统随着用户量的提升,整个分库分表有以下阶段,随着数据库QPS,TPS的维度逐渐发生变化进行扩展

1.单库单表:用户量少的时候,单库单表可以扛住整个系统的需求

2.索引优化:用户量开始上升,通过索引优化,根据用户数据量建立索引区分度更高的索引,联合索引,覆盖索引等操作,减少回表操作,减少磁盘IO,可以降低mysql的cpu消耗,以及减少mysql缓冲数据的驱逐,LRU策略。

3.分表

分表,大众点评分表在主从之后大众点评订单系统分库分表实践 - 美团技术团队,应该是在主从依旧不能支撑系统性能,再考虑分表。图里应该是在微服务粒度已经很细的情况下,进行提前分表

看看gpt怎么说

提前分表:提前分表可以为未来的扩展做好准备,但也可能导致系统过早复杂化。过早分表可能会带来额外的开发、测试和维护成本。

后期分表:在业务量增长到一定程度后再分表,这样可以根据实际的性能瓶颈和数据特点进行更合理的分表设计。但这也可能导致在系统架构调整过程中出现更多挑战,尤其是在已经存在主从复制架构的情况下。

4.主从数据库配合

数据库的瓶颈已经因QPS太高造成的CPU瓶颈,之前的性能跟不上了,阿里云RDS可以在中间件级别实现主从分离,从库分担读的压力,多加几个从库。分担读的压力,从而降低QPS,CPU压力。主从库也顶不住了,检查数据库的配置,数据库配置4核心8g比较低,升级更高的配置。

5.缓存

缓存可以发生在,主从索引优化之前,表里的维度应该是数据库的读性能开始出现瓶颈,这个时候通过大量的cache优化,降低mysql查询引起的 cpu,磁盘IO操作太多的问题。进而降低读维度的性能瓶颈。

6.分库分表

随着读写维度都到了一定性能瓶颈,这个时候就需要考虑通过分库分表来降低cpu,磁盘IO的瓶颈,以及内存锁的瓶颈。分库分表可以降低, 磁盘 I/O,锁竞争,内存的压力。

 

https://zhuanlan.zhihu.com/p/535713197

https://zhuanlan.zhihu.com/p/93643428

大众点评订单系统分库分表实践 - 美团技术团队

你可能感兴趣的:(关系型数据库,数据库)