分库分表ShardingSphere-JDBC笔记整理

优质资源分享

学习路线指引（点击解锁）	知识定位	人群定位
Python实战微信订餐小程序	进阶级	本课程是python flask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。
Python量化交易实战	入门级	手把手带你打造一个易扩展、更安全、效率更高的量化交易系统

一、分库分表解决的现状问题

• 解决数据库本身瓶颈

  • 连接数： 连接数过多时，就会出现‘too many connections’的错误，访问量太大或者数据库设置的最大连接数太小的原因
  • Mysql默认的最大连接数为100.可以修改，而mysql服务允许的最大连接数为16384
  • 数据库分表可以解决单表海量数据的查询性能问题
  • 数据库分库可以解决单台数据库的并发访问压力问题

• 解决系统本身IO、CPU瓶颈

  • 磁盘读写IO瓶颈，热点数据太多，尽管使用了数据库本身缓存，但是依旧有大量IO,导致sql执行速度慢
  • 网络IO瓶颈，请求的数据太多，数据传输大，网络带宽不够，链路响应时间变长
  • CPU瓶颈，尤其在基础数据量大单机复杂SQL计算，SQL语句执行占用CPU使用率高，也有扫描行数大、锁冲突、锁等待等原因
    • 可以通过 show processlist; 、show full processlist，发现 CPU 使用率比较高的SQL
    • 常见的对于查询时间长，State 列值是 Sending data，Copying to tmp table，Copying to tmp table on disk，Sorting result，Using filesort 等都是可能有性能问题SQL，清楚相关影响问题的情况可以kill掉
    • 也存在执行时间短，但是CPU占用率高的SQL，通过上面命令查询不到，这个时候最好通过执行计划分析explain进行分析

二、垂直和水平分库分表区别

• 垂直角度（表结构不一样）
  • 垂直分表: 将一个表字段拆分多个表，每个表存储部分字段
    • 好处: 避免IO时锁表的次数，分离热点字段和非热点字段，避免大字段IO导致性能下降
    • 原则：业务经常组合查询的字段一个表；不常用字段一个表；text、blob类型字段作为附属表
  • 垂直分库：根据业务将表分类，放到不同的数据库服务器上
    • 好处：避免表之间竞争同个物理机的资源，比如CPU/内存/硬盘/网络IO