起因：学完mysql，了解一下mycat，对数据相关知识进一步了解。
1. 数据切分方案分析
对于数据库来讲，他永远是系统中最关键的核心环节和瓶颈
- 保护数据库：增加缓存（redis、ES）
- MySQL本身的分区表只是对磁盘进行了高效利用
水平扩展，多数据中心（各个数据中心，互相是一个备份节点）
如果数据库做到了分布式的架构？就需要有一个中间件，对数据进行二次加工合并
2. 垂直切分、水平切分方案分析
2.1. 垂直切分
通过业务分解将一个数据库中多个表，拆分成多台数据库
解耦：拆分
比如说：后端进行数据报表聚合的时候
各个功能模块之间的交互越统一、越少越好，这样耦合度就降低了
垂直切分后往往还会存在跨库的join访问现象，绝对不允许（业务A-数据库A直接访问业务B的数据库）需要通过接口访问业务B的数据库
优先：
- 业务拆分后规则清晰，业务明确
- 系统之间容易扩展和整合
- 数据维护简单
缺点：
- 部分业务无法join，只能通过接口调用实现，提升了系统的复制度
- 跨库的事务难以处理
- 垂直切分后，某些业务表依旧很大，仍然存在单体性能瓶颈
2.2. 水平切分
水平切分要比垂直切分复杂多了，水平拆分时一定要先制定拆分规则
典型的拆分规则：
- 通过id求模
- 按照时间进行拆分
- 其他字段的枚举或范围
优点：
- 解决了单表大数据，高并发的性能问题
- 如果拆分规则封装好，对于应用端几乎是透明的，开发人员无需关心拆分细节
- 提高了系统的稳定性和负载能力
缺点：
- 拆分规则很难抽象
- 分片的事务一致性难以解决
- 二次扩展时，数据迁移维护难度大
3. 整体分片方案的总结
无论是垂直还是水平分片都有共同的缺点
- 分布式事务问题
- 跨库的join问题
- 多数据源的管理
针对这些问题，思路有两种
1、客户端模式：在业务应用内，自己管理数据源，直接访问你需要的数据，自己在业务模块内做数据整合
2、中间代理模式：中间代理统一管理所有数据源，数据库层对开发人员完全透明，开发人员无需关注拆分细节，正常访问数据表即可
基于这两种模式，目前成熟的第三方软件中间件
- MyCat：中间代理模式
- sharding-jdbc：客户端模式
4. 再看读写分离
- 80%都是查询，slow_sql，20%是数据更新操作
- 对于数据库来讲，其实是数据备份在业务应用上的体现
- MySQL（同步、半同步、异步）在备份库做查询，就将这80%的查询压力引入到备份库上了
- 数据库要实现热切话需要双主结构，两个Master互为主从
5. MyCat整体应用分析
5.1. 什么是MyCat
MyCat是基于阿里开源产品Cobar用Java研发的数据库中间件，它其实就是一个开源的分布式数据库系统，它直接就可以使用MySQL的命令行访问，不是单纯的MySQL代理，它后端也支持oracle，MSSQL，DB2，无论后端接入什么数据库引擎，MyCat都是一个支持SQL的数据代理
5.2. 应用场景
- 支持单纯的读写分离配置，可以做到热切换
- 分库分表，对于超过1000w的数据表价值就体现出来了，最大支持1000亿数据
- 支持多租户
5.3. MyCat中的基本概念
-
逻辑库（Schema）
比如user数据库，后面对接了两个MySQL，user_185，user_186
-
逻辑表（table）
全局表？所有分片上都有这个表的数据，便于进行数据关联，不同进行跨库操作
-
分片节点（dataNode）
具体要分配数据的节点
-
节点主机（dataHost）
具体的物理数据库
-
分配规则（rule）
以什么方式和规则来进行分片
全局序列号（sequence）
6. MyCat安装使用
实验环境：
两台centos 7.x主机，分别安装MySQL数据库v5.7
一台centos 7.x主机，安装MyCat服务
# 0.MyCat的主机要安装jdk
# 1.下载MyCat安装包
wget http://dl.mycat.io/1.6.7.3/20190828135747/Mycat-server-1.6.7.3-release-20190828135747-linux.tar.gz
tar -zxvf Mycat-server-1.6.7.3-release-20190828135747-linux.tar.gz
# 2.进入conf进行配置
vi server.xml
先配置用户
123456
user
设置dataHost连接数据库
vi schema.xml
select user()
我们有两个dataHost，所以还需要再copy一个节点
select user()
设置dataNode
database要和数据库里的名字一致
设置schema来进行数据库表的分片，表名要和数据库里的名字一致
启动mycat
./bin/mycat console
# jvm 1 | Caused by: io.mycat.config.util.ConfigException: Illegal table conf : table [ USER_INFO ] rule function [ rang-long ] partition size : 3 > table datanode size : 2, please make sure table datanode size = function partition size
# 分片规则配置查找
rule="auto-sharding-long"
vi rule.xml
# 这个columns就是数据库分片的列
id
rang-long
# 通过rang-long分片方法找分片规则
autopartition-long.txt
vi autopartition-long.txt
# K=1000,M=10000.
0-500M=0
500M-1000M=1
#1000M-1500M=2
# 如果大于这个返回写不进去会报错
再次启动
# jvm 1 | Caused by: io.mycat.config.util.ConfigException: SelfCheck### schema user refered by user root is not exist!
vi schema.xml
# Caused by: io.mycat.config.util.ConfigException: SelfCheck### schema TESTDB refered by user user is not exist!
vi server.xml
user
user
true
再次启动就ok了
7、MyCat分片核心配置
7.1. server.xml的核心配置
- 配置了MyCat的用户名，密码，权限，schema
- 相当于给MySQL创建用户
- 如果有多个schema就以csv的形式写入
123456
user,product,order
多少个schema就要在schema.xml里配置多少个schema标签
# 可以直接用mysql客户端进行连接
mysql -uroot -p -P8066 -h192.168.0.184
7.2. schema.xml的核心配置
- 配置dataNode（包括写host和读host）
- 配置dataHost
- 配置schema进行表的分片规则指定
# name:随意命名，只要和dataNode对应即可
# maxCon:最大连接数
# minCon:最小连接数
# balance="0":不开启读写分离，所有的读都发送到writeHost上
# balance="1":开启读写分离，全部的readHost和stand by writeHost参与读操作，如果我们是双主双从的模式（M1->S1,M2->S2,并且M1和M2互为主备，实际在写入的时候M2时不写数据的，只是做备份）M2,S1,S2都会负责均衡读操作
# balance="2":开启读写分离，所有的读操作都随机落在writeHost、readHost上
# balance="3":开启读写分离，所有的读操作都随机落在readHost上
# writeType="0":所有写操作会发送到配置的第一个writeHost上，如果第一个挂了，第二个还活着，就直接写入第二个writeHost，第一个重启后虽然配置在上面但实际顺序会放在下面
# switchType="-1":表示不自动切换writeHost
# switchType="1":自动切换
# switchType="2":根据MySQL的主从同步状态决定是否切换
# checkSQLschema="true":会将select * from user.user_info更换为select * from user_info
# sqlMaxLimit:为了避免让自己查询负担过重，会对查询结果进行自动加limit，只对分片表有效，如果你SQL自己设置了limit也会失效
# 每个表都要写一个table的
# name:这个name就是表名，和dataHost对应的数据库里的表名要一模一样
# dataNode:表明要分片数据节点
# rule:就是分片规则对应rule.xml
7.3. 生产环境如何动态变更配置
生产环境肯定不能 ./mycat console
./bin/mycat start
mycat针对系统线上运行有一个管理端口，专门做线上配置更新的
reload @@config;
# 如果更新了数据源必须用config_all
reload @@config_all;
不要以为每天把功能完成了就行了，这种思想是要不得的，互勉~！