使用Sharding-JDBC进行分库分表,读写分离

分库分表

为什么要分库分表?

数据库的数据量是不可控的,随着时间和业务发展,造成表里面数据越来越多,如果再去对数据库表curd操作时候,造成性能问题。分库分表为了解决由于数据量过大而造成数据库性能降低问题。

分库分表的方式

1.垂直切分

  • 垂直分表

对表中的字段进行拆分,把表中一部分字段放到一张表中,把另一部分字段数据放到另外一张表职工

  • 垂直分库

把数据库按照业务进行划分,每个库只有一张表,如商品库中的商品表,订单库中的订单表,即专库专表

2.水平切分

  • 水平分表

相当于在一个数据库复制其中表,除表名不同外,新表结构与原来的一样

  • 水平分库

相当于复制数据库,除库名不同外,数据库与原来的一样

Sharding-JDBC进行分库分表

Sharding-JDBC仅简化对分库分表之后数据相关操作
1.垂直分库
多个数据库情况下,对表进行操作,只会影响对应的专库

#========================垂直分库===================
#spring.shardingsphere.datasource.names=ds1,ds2,ds0
#
#spring.shardingsphere.datasource.ds1.type=com.alibaba.druid.pool.DruidDataSource
#spring.shardingsphere.datasource.ds1.driver-class-name=com.mysql.jdbc.Driver
#spring.shardingsphere.datasource.ds1.url=jdbc:mysql://localhost:3306/edu_db_1
#spring.shardingsphere.datasource.ds1.username=root
#spring.shardingsphere.datasource.ds1.password=root
#
#spring.shardingsphere.datasource.ds2.type=com.alibaba.druid.pool.DruidDataSource
#spring.shardingsphere.datasource.ds2.driver-class-name=com.mysql.jdbc.Driver
#spring.shardingsphere.datasource.ds2.url=jdbc:mysql://localhost:3306/edu_db_2
#spring.shardingsphere.datasource.ds2.username=root
#spring.shardingsphere.datasource.ds2.password=root
#
#spring.shardingsphere.datasource.ds0.type=com.alibaba.druid.pool.DruidDataSource
#spring.shardingsphere.datasource.ds0.driver-class-name=com.mysql.jdbc.Driver
#spring.shardingsphere.datasource.ds0.url=jdbc:mysql://localhost:3306/user_db
#spring.shardingsphere.datasource.ds0.username=root
#spring.shardingsphere.datasource.ds0.password=root
#
## 配置user_db数据库里面t_user 专库专表
#spring.shardingsphere.sharding.tables.t_user.actual-data-nodes=ds$->{0}.t_user
#
## 指定course表里面主键cid 生成策略  SNOWFLAKE
#spring.shardingsphere.sharding.tables.t_user.key-generator.column=user_id
#spring.shardingsphere.sharding.tables.t_user.key-generator.type=SNOWFLAKE
#========================垂直分库===================

2.水平分表
(1)创建数据库 course_db
(2)在数据库创建两张表 course_1 和 course_2
(3)约定规则:如果添加课程cid 是偶数把数据添加 course_1,如果奇数添加到 course_2
主要配置如下:

#========================水平分表===================
spring.shardingsphere.datasource.names=ds0
spring.shardingsphere.datasource.ds0.type=com.alibaba.druid.pool.DruidDataSource
spring.shardingsphere.datasource.ds0.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.ds0.url=jdbc:mysql://localhost:3306/course_db
spring.shardingsphere.datasource.ds0.username=root
spring.shardingsphere.datasource.ds0.password=root
#course代表逻辑表名
#指定course表的分布情况,配置表在那个数据库里面,表名称都是什么
spring.shardingsphere.sharding.tables.course.actual-data-nodes=ds0.course_$->{0..1}

#指定分片策略 约定cid值偶数添加到course_1,奇数添加到course_2
spring.shardingsphere.sharding.tables.course.table-strategy.inline.sharding-column=cid
spring.shardingsphere.sharding.tables.course.table-strategy.inline.algorithm-expression=course_$->{cid % 2 + 1}
#========================水平分表===================

3.水平分库
(1)创建两个数据库edu_db_1,edu_db_2
(2)每个数据库创建两张表 course_1 和 course_2
(3)
a:分库规则:userid为偶数,数据添加到edu_db_1数据库,奇数数据添加到edu_db_2数据库。
b:分表规则:如果添加课程cid 是偶数把数据添加 course_1,如果奇数添加到 course_2
主要配置如下:

#========================水平分库===================
#spring.shardingsphere.datasource.names=ds1,ds2
#
#spring.shardingsphere.datasource.ds1.type=com.alibaba.druid.pool.DruidDataSource
#spring.shardingsphere.datasource.ds1.driver-class-name=com.mysql.jdbc.Driver
#spring.shardingsphere.datasource.ds1.url=jdbc:mysql://localhost:3306/edu_db_1
#spring.shardingsphere.datasource.ds1.username=root
#spring.shardingsphere.datasource.ds1.password=root
#
#spring.shardingsphere.datasource.ds2.type=com.alibaba.druid.pool.DruidDataSource
#spring.shardingsphere.datasource.ds2.driver-class-name=com.mysql.jdbc.Driver
#spring.shardingsphere.datasource.ds2.url=jdbc:mysql://localhost:3306/edu_db_2
#spring.shardingsphere.datasource.ds2.username=root
#spring.shardingsphere.datasource.ds2.password=root
#
#指定数据库分布情况,数据库里面表分布情况
## d1  d2    course_1 course_2
#spring.shardingsphere.sharding.tables.course.actual-data-nodes=ds$->{1..2}.course_$->{1..2}

##指定分片策略 约定cid值偶数添加到course_1,奇数添加到course_2
#spring.shardingsphere.sharding.tables.course.table-strategy.inline.sharding-column=cid
#spring.shardingsphere.sharding.tables.course.table-strategy.inline.algorithm-expression=course_$->{cid % 2 + 1}
#指定分库策略 约定user_id值偶数添加到edu_db_1,奇数添加到edu_db_2
#spring.shardingsphere.sharding.tables.course.database-strategy.inline.sharding-column=user_id
#spring.shardingsphere.sharding.tables.course.database-strategy.inline.algorithm-expression=ds$->{user_id % 2 + 1}
#========================水平分库===================

4.公共表
公共表:
(1)存储固定数据的表,表数据很少发生变化,查询时候经常进行关联
(2)在每个数据库中创建出相同结构公共表
在多个数据库都创建相同结构公共表,对某个库的公共表进行操作,会广播到其他所有公共表

## 配置公共表
#spring.shardingsphere.sharding.broadcast-tables=t_udict
#spring.shardingsphere.sharding.tables.t_udict.key-generator.column=dictid
#spring.shardingsphere.sharding.tables.t_udict.key-generator.type=SNOWFLAKE

读写分离

为什么要读写分离?

为了确保数据库产品的稳定性,很多数据库拥有双机热备功能。也就是,第一台数据库服务器,是对外提供增删改业务的生产服务器;第二台数据库服务器,主要进行读的操作。

读写分离原理

使用Sharding-JDBC进行分库分表,读写分离_第1张图片
读写分离基于主从复制,Sharding-JDBC 通过sql语句语义分析,实现读写分离过程,不会做数据同步

准备工作:

因为我原来已经有一个MySql服务在运行,为了防止搞崩,用这个方法
一台linux主机启动多个MySQL数据库
/usr/local/mysql/data/3307/my.cnf 主库配置:
使用Sharding-JDBC进行分库分表,读写分离_第2张图片
/usr/local/mysql/data/3308/my.cnf 从库配置:
使用Sharding-JDBC进行分库分表,读写分离_第3张图片
新增了3307 3308端口两个主从MySql服务:
使用Sharding-JDBC进行分库分表,读写分离_第4张图片

新增账号:

1.切换至主库bin目录,登录主库
2.授权主备复制专用账号
GRANT REPLICATION SLAVE ON . TO 'root'@'192.168.1.80' IDENTIFIED BY 'root';
3.刷新权限
FLUSH PRIVILEGES;
4.确认位点 记录下文件名以及位点
show master status;
使用Sharding-JDBC进行分库分表,读写分离_第5张图片

设置主从复制

1.切换至从库bin目录,登录从库
2.先停止同步
STOP SLAVE;
3.修改从库指向到主库,使用上一步记录的文件名以及位点
CHANGE MASTER TO
master_host = '192.168.1.80',
master_user = 'root',
master_password = 'root',
master_log_file = 'mysql‐bin.000003',
master_log_pos = 666;
4.启动同步
START SLAVE;
5.查看从库状态Slave_IO_Runing和Slave_SQL_Runing都为Yes说明同步成功,如果不为Yes,请检查 error_log,然后
排查相关异常。
show slave status;
使用Sharding-JDBC进行分库分表,读写分离_第6张图片

Sharding-JDBC 读写分离配置
#========================读写分离====================
spring.shardingsphere.datasource.names=m1,s1

spring.shardingsphere.datasource.m1.type=com.alibaba.druid.pool.DruidDataSource
spring.shardingsphere.datasource.m1.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.m1.url=jdbc:mysql://192.168.1.80:3307/user_db
spring.shardingsphere.datasource.m1.username=root
spring.shardingsphere.datasource.m1.password=root

spring.shardingsphere.datasource.s1.type=com.alibaba.druid.pool.DruidDataSource
spring.shardingsphere.datasource.s1.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.s1.url=jdbc:mysql://192.168.1.80:3308/user_db
spring.shardingsphere.datasource.s1.username=root
spring.shardingsphere.datasource.s1.password=root

spring.shardingsphere.sharding.master‐slave‐rules.ds0.master-data-source-name=m1
spring.shardingsphere.sharding.master‐slave‐rules.ds0.slave-data-source-names=s1

#========================读写分离====================

完整github地址:
https://github.com/WillLiaowh/ShardingJdbc-Demo

参考:
https://shardingsphere.apache.org/document/legacy/4.x/document/cn/manual/sharding-jdbc/configuration/config-spring-boot/

https://www.bilibili.com/video/BV1LK411s7RX?p=1

你可能感兴趣的:(使用Sharding-JDBC进行分库分表,读写分离)