MYSQL分库分表

一：数据库瓶颈
由于公司用户数据量持续增长，MySQL单库单表架构的性能问题就暴露出来了。影响数据库性能主要有以下几个因素：

1）数据量

MySQL单库数据量在5000万以内性能比较好,超过阈值后性能会随着数据量的增大而变弱。MySQL单表的数据量是500w-1000w之间性能比较好,超过1000w性能也会下降。单表数据量太大，查询时扫描的行太多，SQL效率低。

2：数据库连接瓶颈（IO瓶颈）

第一种：磁盘读IO瓶颈，热点数据太多，数据库缓存放不下，每次查询时会产生大量的IO，降低查询速度 （ 分库和垂直分表）；


第二种：网络IO瓶颈，请求的数据太多，网络带宽不够 （ 分库）。

二：分库分表方案

一般来说我们有四种方案进行分库分表：

1：水平分库

image.png

通常以某个字段为依据（userId或主键id），按照某种策略（hash、range等），将一个库中的数据拆分到多个库中。

表结构及数据分布：每个库的结构都一样，每个库的数据都不一样，没有交集，所有库的并集是全量数据；

使用场景：系统绝对并发量上来了，分表难以根本上解决问题，并且还没有明显的业务归属来垂直分库。

分析：库多了，io和cpu的压力自然可以成倍缓解。

2：水平分表

image.png

通常以某个字段为依据（userId或主键id），按照某种策略（hash、range等），将一个表中的数据拆分到多个表中。

表结构及数据分布：每个表的结构都一样，每个表的数据都不一样，没有交集，所有表的并集是全量数据。

使用场景：系统绝对并发量并没有上来，只是单表的数据量太多，影响了SQL效率，加重了CPU负担，以至于成为瓶颈。

分析：表的数据量少了，单次SQL执行效率高，自然减轻了CPU的负担。

3：垂直分库

image.png

通常以表为依据，按照业务归属不同，将不同的表拆分到不同的库中。

表结构及数据分布：每个库的结构都不一样，每个库的数据也不一样，没有交集，所有库的并集是全量数据。

使用场景：系统绝对并发量上来了，并且可以抽象出单独的业务模块。

分析：到这一步，基本上就可以服务化了。例如，随着业务的发展一些公用的配置表、字典表等越来越多，这时可以将这些表拆到单独的库中，甚至可以服务化。再有，随着业务的发展孵化出了一套业务模式，这时可以将相关的表拆到单独的库中，甚至可以服务化。

4：垂直分表

image.png

概念：以字段为依据，按照字段的活跃性，将表中字段拆到不同的表（主表和扩展表）中。
表结构及数据分布：每个表的结构都不一样，每个表的数据也不一样，一般来说，每个表的字段至少有一列交集，一般是主键，用于关联数据，所有表的并集是全量数据；

场景：系统绝对并发量并没有上来，表的记录并不多，但是字段多，并且热点数据和非热点数据在一起，单行数据所需的存储空间较大。以至于数据库缓存的数据行减少，查询时会去读磁盘数据产生大量的随机读IO，产生IO瓶颈。

分析：可以用列表页和详情页来帮助理解。垂直分表的拆分原则是将热点数据（可能会冗余经常一起查询的数据）放在一起作为主表，非热点数据放在一起作为扩展表。这样更多的热点数据就能被缓存下来，进而减少了随机读IO。拆了之后，要想获得全部数据就需要关联两个表来取数据。但记住，千万别用join，因为join不仅会增加CPU负担并且会讲两个表耦合在一起（必须在一个数据库实例上）。关联数据，应该在业务Service层做文章，分别获取主表和扩展表数据然后用关联字段关联得到全部数据。

三：分库分表工具

1）sharding-jdbc；

2）Mycat；

根据容量（当前容量和增长量）评估分库或分表个数 -> 选key（均匀）-> 分表规则（hash或range等）-> 执行（一般双写）-> 扩容问题（尽量减少数据的移动）。

四：demo

项目结构如下：

image.png

实体信息：entity

package sharding.jdbc.jdbc.entity;

import java.io.Serializable;

public class User implements Serializable {

    private static final long serialVersionUID = -1205226416664488559L;

    private Long id;

    private String city;

    private String name;

    public Long getId() {
        return id;
    }

    public void setId(Long id) {
        this.id = id;
    }

    public String getCity() {
        return city;
    }

    public void setCity(String city) {
        this.city = city;
    }

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    @Override
    public String toString() {
        return "User{" +
                "id=" + id +
                ", city='" + city + '\'' +
                ", name='" + name + '\'' +
                '}';
    }
}

seivice层

package sharding.jdbc.jdbc.service;

import sharding.jdbc.jdbc.entity.User;

import java.util.List;

public interface UserService {

    List list();

    Long add(User user);

    User findById(Long id);

    User findByName(String name);

seiviceImpl层

package sharding.jdbc.jdbc.service;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
import sharding.jdbc.jdbc.dao.UserDao;
import sharding.jdbc.jdbc.entity.User;

import java.util.List;

@Service
public class UserServiceImpl implements UserService{

    @Autowired
    private UserDao userDao;


    @Override
    public List list() {
        return userDao.list();
    }

    @Override
    public Long add(User user) {
        return userDao.addUser(user);
    }

    @Override
    public User findById(Long id) {
        return userDao.findById(id);
    }

    @Override
    public User findByName(String name) {
        return userDao.findByName(name);
    }
}

dao层

package sharding.jdbc.jdbc.dao;

import org.apache.ibatis.annotations.Mapper;
import sharding.jdbc.jdbc.entity.User;

import java.util.List;

@Mapper
public interface UserDao {

    Long addUser(User user);

    User findById(Long id);

    List list();

    User findByName(String name);
}

application.properties

server.port=8080

mybatis.mapper-locations=classpath:mapper/*.xml
mybatis.configuration.map-underscore-to-camel-case=true

#spring.shardingsphere.datasource.names=master

# 数据源
#spring.shardingsphere.datasource.master.type=com.alibaba.druid.pool.DruidDataSource
#spring.shardingsphere.datasource.master.driver-class-name=com.mysql.jdbc.Driver
#spring.shardingsphere.datasource.master.url=jdbc:mysql://10.91.237.60:3306/yangnima?characterEncoding=utf-8
##spring.shardingsphere.datasource.master.username=root
#spring.shardingsphere.datasource.master.password=Pass1234

# 分表配置
#spring.shardingsphere.sharding.tables.user.actual-data-nodes=master.user_${0..3}


# inline 表达式
#spring.shardingsphere.sharding.tables.user.table-strategy.inline.sharding-column=id
#spring.shardingsphere.sharding.tables.user.table-strategy.inline.algorithm-expression=user_${id.longValue() % 4}

spring.shardingsphere.datasource.names=ds0,ds1

# 数据源
spring.shardingsphere.datasource.ds0.type=com.alibaba.druid.pool.DruidDataSource
spring.shardingsphere.datasource.ds0.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.ds0.url=jdbc:mysql://*.*.*.60:3306/yangnima?characterEncoding=utf-8
spring.shardingsphere.datasource.ds0.username=*****
spring.shardingsphere.datasource.ds0.password=*****

spring.shardingsphere.datasource.ds1.type=com.alibaba.druid.pool.DruidDataSource
spring.shardingsphere.datasource.ds1.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.ds1.url=jdbc:mysql://*.*.*.60:3306/yangnima_01?characterEncoding=utf-8
spring.shardingsphere.datasource.ds1.username=****
spring.shardingsphere.datasource.ds1.password=****

# 分表配置
spring.shardingsphere.sharding.tables.user.actual-data-nodes=ds$->{0..1}.user_$->{0..2}
spring.shardingsphere.sharding.tables.user.table-strategy.inline.sharding-column=id
spring.shardingsphere.sharding.tables.user.table-strategy.inline.algorithm-expression=user_$->{id % 3}
spring.shardingsphere.sharding.tables.user.key-generator.column=id
spring.shardingsphere.sharding.tables.user.key-generator.type=SNOWFLAKE

# 分库配置
spring.shardingsphere.sharding.default-database-strategy.inline.sharding-column=id
spring.shardingsphere.sharding.default-database-strategy.inline.algorithm-expression=ds$->{id % 2}

pom.xml

    4.0.0
    
        org.springframework.boot
        spring-boot-starter-parent
        2.0.9.RELEASE
         
    
    sharding.jdbc
    jdbc
    0.0.1-SNAPSHOT
    jdbc
    Demo project for Spring Boot

    
        1.8
    

    
        
            org.springframework.boot
            spring-boot-starter-web
        

        
            org.springframework.boot
            spring-boot-starter-test
            test
        

        
            org.mybatis.spring.boot
            mybatis-spring-boot-starter
            2.0.1
        

        
            mysql
            mysql-connector-java
        

        
            com.alibaba
            druid-spring-boot-starter
            1.1.16
        

        
            org.apache.shardingsphere
            sharding-jdbc-spring-boot-starter
            4.0.0-RC1
        

    

    
        
            
                org.springframework.boot
                spring-boot-maven-plugin
            
        
    

测试

package sharding.jdbc.jdbc;

import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.junit4.SpringRunner;
import sharding.jdbc.jdbc.entity.User;
import sharding.jdbc.jdbc.service.UserService;

@RunWith(SpringRunner.class)
@SpringBootTest
public class JdbcApplicationTests {

    @Autowired
    private UserService userService;

    @Test
    public void contextLoads() {
    }

    @Test
    public void addUser() {
        for (long i = 0; i < 100; i++) {
            User user = new User();
            user.setId(i);
            user.setCity("上海"+i);
            user.setName("杨尼玛"+i);
            userService.add(user);
        }
    }
    @Test
    public void findUserById() {
        System.out.println(userService.findById(Long.valueOf(1)));;
    }


}

sql语句

CREATE TABLE `user_2` (
  `id` bigint(64) NOT NULL,
  `city` varchar(20) NOT NULL,
  `name` varchar(20) NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

测试通过

image.png

image.png

image.png