mysql 分库分表框架,【分布式架构之旅-理论篇】数据库分库分表

前言

储备知识ing,很久之前写的。

MySQL集群

MySQL官方提供的是mysql-proxy方案,主要解决了高并发的问题,但是没有解决高可用的问题。一般项目都是读多写少。读的操作让mysql-slave去处理,写的操作让mysql-master去处理,这减少对主库的访问压力。高可用问题体现在mysql-proxy宕了和单点故障(如果我mysql-master出现了故障,那一切不就GG了)方面。

mysql-proxy.png

什么是分库分表

把原本存储于一个库的数据分块存储到多个库上,把原本存储于一个表的数据分块存储到多个表上。

为什么要分库分表

数据库中的数据量不一定是可控的,在未进行分库分表的情况下,随着时间和业务的发展,库中的表会越来越多,表中的数据量也会越来越大,对应着,CRUD的数据操作开销也会越来越大。服务器的资源(CPU、磁盘、内存、IO等)是有限的,最终数据库所能承载的数据量、数据处理能力将会遭遇瓶颈。

分库分表的种类

垂直分割:将一个属性比较多、行的数据比较大的表、把这个表的不同属性进行拆分成不同表。因此来降低单库(表)大小的目的来提高性能。

每个库(表)的结构都不一样。

每个库(表)的数据至少有一列是一样的。

每个库(表)的并集是全量数据。

水平分割:以某个字段按照一定的规律(取模)将数据分割到多个库(表)中。

每个库(表)的结构都是一样。

每个库(表)的数据都不一样。

每个库(表)的并集是全量数据。

分库策略

Hash取模,通过表的一列字段进行hash取code%1024.

Range范围取模,比如2016年的数据放到A库,2017年的数据放到B库。

List预定义

分库分表存在的问题

多数据源的管理

跨库事务的处理(伸缩性差)

查询数据结果的结果集合并

分布式全局唯一的id

你可能感兴趣的:(mysql,分库分表框架)