SpringBoot 2.x ShardingSphere分库分表实战

一. 项目需求

在之前我做项目的时候，数据量比较大,单表千万级别的,需要分库分表，于是在网上搜索这方面的开源框架,最常见的就是mycat,sharding-sphere,最终我选择后者,用它来做分库分表比较容易上手。

二. 简介sharding-sphere

官网地址: https://shardingsphere.apache.org/

ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈，它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar（计划中）这3款相互独立的产品组成。他们均提供标准化的数据分片、分布式事务和数据库治理功能，可适用于如Java同构、异构语言、容器、云原生等各种多样化的应用场景。

ShardingSphere定位为关系型数据库中间件，旨在充分合理地在分布式的场景下利用关系型数据库的计算和存储能力，而并非实现一个全新的关系型数据库。它与NoSQL和NewSQL是并存而非互斥的关系。NoSQL和NewSQL作为新技术探索的前沿，放眼未来，拥抱变化，是非常值得推荐的。反之，也可以用另一种思路看待问题，放眼未来，关注不变的东西，进而抓住事物本质。关系型数据库当今依然占有巨大市场，是各个公司核心业务的基石，未来也难于撼动，我们目前阶段更加关注在原有基础上的增量，而非颠覆。

SpringBoot 2.x ShardingSphere分库分表实战_第1张图片

sharding-jdbc 定位为轻量级Java框架，在Java的JDBC层提供的额外服务。它使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM框架。

适用于任何基于Java的ORM框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template或直接使用JDBC。基于任何第三方的数据库连接池，如：DBCP, C3P0, BoneCP, Druid, HikariCP等。支持任意实现JDBC规范的数据库。目前支持MySQL，Oracle，SQLServer和PostgreSQL。

SpringBoot 2.x ShardingSphere分库分表实战_第2张图片

三. 项目实战

本项目基于 Spring Boot 2.1.5 使用sharding-sphere + Mybatis-Plus 实现分库分表

1. pom.xml引入依赖

"1.0"

encoding=

"UTF-8"

xmlns

"http://maven.apache.org/POM/4.0.0"

xmlns:xsi

"http://www.w3.org/2001/XMLSchema-instance"

xsi:schemaLocation

"http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"

4.0.0

org.springframework.boot

spring-boot-starter-parent

2.1.5.RELEASE

com.xd

spring-boot-sharding-table

0.0.1-SNAPSHOT

spring-boot-sharding-table

基于 Spring Boot 2.1.5 使用sharding-sphere + Mybatis-Plus 实现分库分表

1.8

org.springframework.boot

spring-boot-starter-web

org.springframework.boot

spring-boot-starter-test

test

mysql

mysql-connector-java

runtime

com.baomidou

mybatis-plus-boot-starter

3.1.1

io.shardingsphere

sharding-jdbc-spring-boot-starter

3.1.0

io.shardingsphere

sharding-jdbc-spring-namespace

3.1.0

org.projectlombok

lombok

1.18.8

org.springframework.boot

spring-boot-maven-plugin

2. 创建数据库和表

ds0

├── user_0

└── user_1

ds1

├── user_0

└── user_1

既然是分库分表库结构与表结构一定是一致的数据库: ds0

CREATE DATABASE IF NOT EXISTS

`ds0`

/*!40100 DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci */

;

USE

`ds0`

;

SET NAMES utf8mb4;

SET FOREIGN_KEY_CHECKS =

;

-- ----------------------------

Table

structure

for

user_0

-- ----------------------------

DROP TABLE IF EXISTS

`user_0`

;

CREATE TABLE

`user_0`

(

`id`

int

(

) NOT NULL,

`name`

varchar(

255

) DEFAULT NULL,

`age`

int

(

) DEFAULT NULL,

PRIMARY KEY (

`id`

)

) ENGINE=

InnoDB

DEFAULT CHARSET=utf8mb4;

-- ----------------------------

Table

structure

for

user_1

-- ----------------------------

DROP TABLE IF EXISTS

`user_1`

;

CREATE TABLE

`user_1`

(

`id`

int

(

) NOT NULL,

`name`

varchar(

255

) DEFAULT NULL,

`age`

int

(

) DEFAULT NULL,

PRIMARY KEY (

`id`

)

) ENGINE=

InnoDB

DEFAULT CHARSET=utf8mb4;

SET FOREIGN_KEY_CHECKS =

;

数据库: ds1

CREATE DATABASE IF NOT EXISTS

`ds1`

/*!40100 DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci */

;

USE

`ds1`

;

SET NAMES utf8mb4;

SET FOREIGN_KEY_CHECKS =

;

-- ----------------------------

Table

structure

for

user_0

-- ----------------------------

DROP TABLE IF EXISTS

`user_0`

;

CREATE TABLE

`user_0`

(

`id`

int

(

) NOT NULL,

`name`

varchar(

255

) DEFAULT NULL,

`age`

int

(

) DEFAULT NULL,

PRIMARY KEY (

`id`

)

) ENGINE=

InnoDB

DEFAULT CHARSET=utf8mb4;

-- ----------------------------

Table

structure

for

user_1

-- ----------------------------

DROP TABLE IF EXISTS

`user_1`

;

CREATE TABLE

`user_1`

(

`id`

int

(

) NOT NULL,

`name`

varchar(

255

) DEFAULT NULL,

`age`

int

(

) DEFAULT NULL,

PRIMARY KEY (

`id`

)

) ENGINE=

InnoDB

DEFAULT CHARSET=utf8mb4;

SET FOREIGN_KEY_CHECKS =

;

3. application.properties (重点)

# 数据源 ds0,ds1

sharding.jdbc.datasource.names=ds0,ds1

# 第一个数据库

sharding.jdbc.datasource.ds0.type=com.zaxxer.hikari.

HikariDataSource

sharding.jdbc.datasource.ds0.driver-

class

-name=com.mysql.jdbc.

Driver

sharding.jdbc.datasource.ds0.jdbc-url=jdbc:mysql:

//localhost:3306/ds0?characterEncoding=utf-8

sharding.jdbc.datasource.ds0.username=root

sharding.jdbc.datasource.ds0.password=root

# 第二个数据库

sharding.jdbc.datasource.ds1.type=com.zaxxer.hikari.

HikariDataSource

sharding.jdbc.datasource.ds1.driver-

class

-name=com.mysql.jdbc.

Driver

sharding.jdbc.datasource.ds1.jdbc-url=jdbc:mysql:

//localhost:3306/ds1?characterEncoding=utf-8

sharding.jdbc.datasource.ds1.username=root

sharding.jdbc.datasource.ds1.password=root

# 水平拆分的数据库（表）配置分库 + 分表策略行表达式分片策略

# 分库策略

sharding.jdbc.config.sharding.

default

-database-strategy.

inline

.sharding-column=id

sharding.jdbc.config.sharding.

default

-database-strategy.

inline

.algorithm-expression=ds$->{id %

}

# 分表策略其中user为逻辑表分表主要取决于age行

sharding.jdbc.config.sharding.tables.user.actual-data-nodes=ds$->{

}.user_$->{

}

sharding.jdbc.config.sharding.tables.user.table-strategy.

inline

.sharding-column=age

# 分片算法表达式

sharding.jdbc.config.sharding.tables.user.table-strategy.

inline

.algorithm-expression=user_$->{age %

}

# 主键 UUID 18位数如果是分布式还要进行一个设置防止主键重复

#sharding.jdbc.config.sharding.tables.user.key-generator-column-name=id

# 打印执行的数据库以及语句

sharding.jdbc.config.props..sql.show=

true

spring.main.allow-bean-definition-overriding=

true

我这次使用配置文件方式实现分库以及分表

以上配置说明:

逻辑表 user

水平拆分的数据库（表）的相同逻辑和数据结构表的总称。例：用户数据根据主键尾数拆分为2张表，分别是user0到user1，他们的逻辑表名为user。

真实表

在分片的数据库中真实存在的物理表。即上个示例中的user0到user1

分片算法:

Hint分片算法

对应HintShardingAlgorithm，用于处理使用Hint行分片的场景。需要配合HintShardingStrategy使用。

分片策略:

行表达式分片策略对应InlineShardingStrategy。使用Groovy的表达式，提供对SQL语句中的=和IN的分片操作支持，只支持单分片键。对于简单的分片算法，可以通过简单的配置使用，从而避免繁琐的Java代码开发，如: user$->{id % 2} 表示user表根据id模2，而分成2张表，表名称为user0到user_1。

自增主键生成策略

通过在客户端生成自增主键替换以数据库原生自增主键的方式，做到分布式主键无重复。采用UUID.randomUUID()的方式产生分布式主键。或者 SNOWFLAKE

4. 实体类

package

com.xd.springbootshardingtable.entity;

import

com.baomidou.mybatisplus.annotation.

TableName

;

import

com.baomidou.mybatisplus.extension.activerecord.

Model

;

import

groovy.transform.

EqualsAndHashCode

;

import

lombok.

Data

;

import

lombok.experimental.

Accessors

;

/**

* @Classname User

* @Description 用户实体类

* @Author 李号东 [email protected]

* @Date 2019-05-26 17:24

* @Version 1.0

@Data

@EqualsAndHashCode

(callSuper =

true

)

@Accessors

(chain =

true

)

@TableName

(

"user"

)

public

class

User

extends

Model

User

> {

/**

* 主键Id

private

int

id;

/**

* 名称

private

String

name;

/**

* 年龄

private

int

age;

}

5. dao层

package

com.xd.springbootshardingtable.mapper;

import

com.baomidou.mybatisplus.core.mapper.

BaseMapper

;

import

com.xd.springbootshardingtable.entity.

User

;

/**

* user dao层

* @author lihaodong

public

interface

UserMapper

extends

BaseMapper

User

> {

}

6. service层以及实现类

UserService

package

com.xd.springbootshardingtable.service;

import

com.baomidou.mybatisplus.extension.service.

IService

;

import

com.xd.springbootshardingtable.entity.

User

;

import

java.util.

List

;

/**

* @Classname UserService

* @Description 用户服务类

* @Author 李号东 [email protected]

* @Date 2019-05-26 17:31

* @Version 1.0

public

interface

UserService

extends

IService

User

> {

/**

* 保存用户信息

* @param entity

* @return

@Override

boolean

save(

User

entity);

/**

* 查询全部用户信息

* @return

List

User

> getUserList();

}

UserServiceImpl

package

com.xd.springbootshardingtable.service.

Impl

;

import

com.baomidou.mybatisplus.core.toolkit.

Wrappers

;

import

com.baomidou.mybatisplus.extension.service.impl.

ServiceImpl

;

import

com.xd.springbootshardingtable.entity.

User

;

import

com.xd.springbootshardingtable.mapper.

UserMapper

;

import

com.xd.springbootshardingtable.service.

UserService

;

import

org.springframework.stereotype.

Service

;

import

java.util.

List

;

/**

* @Classname UserServiceImpl

* @Description 用户服务实现类

* @Author 李号东 [email protected]

* @Date 2019-05-26 17:32

* @Version 1.0

@Service

public

class

UserServiceImpl

extends

ServiceImpl

UserMapper

User

implements

UserService

{

@Override

public

boolean

save(

User

entity) {

return

super

.save(entity);

}

@Override

public

List

User

> getUserList() {

return

baseMapper.selectList(

Wrappers

User

>lambdaQuery());

}

7. 测试控制类

package

com.xd.springbootshardingtable.controller;

import

com.xd.springbootshardingtable.entity.

User

;

import

com.xd.springbootshardingtable.service.

UserService

;

import

org.springframework.beans.factory.annotation.

Autowired

;

import

org.springframework.web.bind.annotation.

GetMapping

;

import

org.springframework.web.bind.annotation.

RestController

;

import

java.util.

List

;

/**

* @Classname UserController

* @Description 用户测试控制类

* @Author 李号东 [email protected]

* @Date 2019-05-26 17:36

* @Version 1.0

@RestController

public

class

UserController

{

@Autowired

private

UserService

userService;

@GetMapping

(

"/select"

)

public

List

User

select

() {

return

userService.getUserList();

}

@GetMapping

(

"/insert"

)

public

Boolean

insert(

User

user) {

return

userService.save(user);

}

四. 测试

启动项目

打开浏览器分别访问:

http:

//localhost:8080/insert?id=1&name=lhd&age=12

http:

//localhost:8080/insert?id=2&name=lhd&age=13

http:

//localhost:8080/insert?id=3&name=lhd&age=14

http:

//localhost:8080/insert?id=4&name=lhd&age=15

则执行插数据然后查看控制台日志:

SpringBoot 2.x ShardingSphere分库分表实战_第3张图片

SpringBoot 2.x ShardingSphere分库分表实战_第4张图片

根据分片算法和分片策略不同的id以及age取模落入不同的库表达到了分库分表的结果

有的人说查询的话该怎么做呢其实也帮我们做好了打开浏览器访问:

http://localhost:8080/select

SpringBoot 2.x ShardingSphere分库分表实战_第5张图片

控制台打印:

分别从ds0数据库两张表和ds1两张表查询结果然后汇总结果返回

之前有朋友问我单表数据量达千万,想做水平分割,不分库,也可以的吧?

是完全可以的只要修改配置文件的配置即可非常灵活

通过代码大家也可以看到,我的业务层代码和平时单表操作是一样的,只需要引入sh配置和逻辑表保持现有的不便即可,使用无侵入我们的代码可以在原有的基础上改动即可可以说是非常方便

如果想学习Java工程化、高性能及分布式、深入浅出。微服务、Spring，MyBatis，Netty源码分析的朋友可以加我的Java高级交流：787707172，群里有阿里大牛直播讲解技术，以及Java大型互联网技术的视频免费分享给大家。

SpringBoot 2.x ShardingSphere分库分表实战

你可能感兴趣的:(SpringBoot 2.x ShardingSphere分库分表实战)