单数据库弊端
为了解决上述问题,我们需要对数据库进行分库分表处理
将数据分散存储,使得单一数据库/表的数据量变小来缓解单一数据库的性能问题,从而达到提升数据库性能的目的。
分库分表的形式,主要是两种:垂直拆分和水平拆分。
而拆分的粒度,一般又分为分库和分表。
分库: 对一个数据库来进行拆分,将一个数据库中的数据分散地存储在多个数据库当中
分表:原来存储在一张表结构当中的数据现在要分散地存储在多张表结构中
垂直分库:以表为依据,根据业务将不同表拆分到不同库中。
特点
垂直分表:以字段为依据,根据字段属性将不同字段拆分到不同表中。
一张表当中存储的数据现在分散的存储在两张表结构当中,而这两张表可以位于不同的服务器当中
垂直分表:将一个表结构拆分为多个表结构,两个表结构再通过主键或者是外键产生关联
特点
水平分库:以字段为依据,按照一定策略,将一个库的数据拆分到多个库中。
特点:
水平分表:以字段为依据,按照一定策略,将一个表的数据拆分到多个表中。
特点:
将数据库进行拆分之后,应用程序需要访问多个数据库。
在应用程序当中,我们还需要自行根据当前业务的执行来决定当前要操作哪个数据库,造成应用程序编写代码难度将会增大,而且处理起来相当繁琐。
目前也出现了许多技术来解决分库分表的问题
shardingJDBC
基于AOP原理,在应用程序中对本地执行的SQL进行拦截,解析、改写、路由处理。需要自行编码配置实现,只支持java语言,性能较高。
MyCat
数据库分库分表中间件,不用调整代码即可实现分库分表,支持多种语言,性能不及前者。
也不用考虑我们每一次需要连接哪个数据库,需要操作哪个数据库(直接访问MyCat),也不用在应用程序当中去集成任何第三方依赖,也不用做其他的编码和配置
Mycat是开源的、活跃的、基于Java语言编写的MySQL数据库中间件。
可以像使用mysql一样来使用mycat,对于开发人员来说根本感觉不到mycat的存在。
开发人员只需要连接MyCat即可,而具体底层用到几台数据库,每一台数据库服务器里面存储了什么数据,都无需关心。 具体的分库分表的策略,只需要在MyCat中配置即可。
伪装协议:MyCat伪装了MySQL的协议,所以我们可以将MyCat看做成一台MySQL。
对于应用程序来说,我们完全不用关心其用的是MyCat还是MySQL,应用程序只需要把MySQL连接换成MyCat连接即可,驱动不用改
优势
在MyCat的整体结构中,分为两个部分:上面的逻辑结构、下面的物理结构
逻辑库:逻辑上的数据库,并不存储具体的数据,具体的数据都是在物理结构中存储。
在一个逻辑库当中可以包括若干个逻辑表,一个逻辑表又关联了若干个分片结点,也叫做数据结点。
分片结点:也叫数据结点,tableA这个数据分散在3个分片结点当中。tableA中的数据什么时候关联第一个分片结点,什么时候关联第二个分片结点,是由分片规则决定的
三个分片结点又关联了三个数据库,底层的物理结构就是真实的数据库,每一个数据库所在的主机,称之为节点主机。
MyCat是不存数据的,里面只涉及到一些逻辑上的分片以及其他的一些聚合操作,不存储具体的数据,具体的数据依然是在底层MySQL数据库当中进行存储。
下载地址: https://github.com/MyCATApache/Mycat-Server/releases
解压
配置环境变量
配置PATH
然后直接双击运行bin目录下的startup_nowrap.bat文件,如果运行成功会显示如下
由于tb_order表中数据量很大,磁盘IO及容量都到达了瓶颈,现在需要对tb_order表进行数据分片,分为三个节点,每一个节点主机位于不同的服务器上
三个数据库所存放的表结构是一个样子的,但是数据时不同的
四个服务器,MyCat中间件服务器关联三个服务器,并且在上述3台数据库中创建数据库 db01
不要在三台数据库上面创建表,也不用去执行一些增删改的语句,现在所有的操作都针对于MyCat,我们需要配置一些tb_order表的分表策略
在conf/schema.xml文件下我们需要配置对应的
分片规则:这张表中的数据我们应该怎么拆分,由rule分片规则来决定
在此文件下配置哪些用户可以访问MyCat,可以访问MyCat当中的哪些逻辑库、哪些表 比如下面这个,用户以root 123456登录上来,能够访问的逻辑库就是TESTDB,但是我们访问的逻辑库是db01,所以这个地方要改为db01 需要在server.xml中配置用户名、密码,以及用户的访问权限信息,具体的配置如下: 切换到MyCat的安装目录,执行如下指令,启动MyCat: 占用端口8066 连接并登录MyCat 是通过MySQL的指令来连接的MyCat,因为MyCat在底层实际上是模拟了MySQL的协议 我们在schema.xml文件中,配置的是db01逻辑库下有一个tb_order逻辑表。如果我们use table01 ,show tables;看,是有tb_order表的,但是这张表只是在MyCat当中逻辑上存在,但是具体在数据库当中是不存在的 在MyCat当中先将表结构创建出来 复制下面的语句,在命令行当中执行 我们上面插入的数据,是怎么在三个数据库之间进行分布的? 由下图中的属性决定 auto-sharding-long分片规则是一个引用,引用的是MyCat当中给我们提供的分片规则定义的配置文件rule.xml. 在这种分片规则当中,是根据id进行分片的 在 rang-lang也是一个引用,引用的是下面的的一个function, 在此function当中, 物理文件autopartition-long.txt,此文件中说明了 涵盖了MyCat的逻辑库 、 逻辑表 、 分片规则、分片节点及数据源的配置 主要涉及到的标签 schema标签用于定义MyCat实例中的逻辑库,一个MyCat实例中,可以有多个逻辑库(再配置一个schema),可以通过schema标签来划分不同的逻辑库。 MyCat中的逻辑库的概念,等同于MySQL中的database概念,需要操作某个逻辑库下的表时,也需要切换逻辑库(use xxx,比如use DB01 切换到DB01逻辑库,这个地方区分大小写) 核心属性 name: 指定自定义的逻辑库库名 checkSQLschema:在SQL语句操作时指定了数据库名称,执行时是否自动去除;true:自动去除,false:不自动去除 比如下面的DB01,如果是true的话,会自动去除掉 sqlMaxLimit 如果未指定limit进行查询,列表查询模式查询多少条记录 因为查询全表数据太耗费性能了 table标签定义了MyCat中逻辑库schema下的逻辑表,所有需要拆分的表都需要在table标签中定义。 一个逻辑库下面可以配置多个逻辑表 属性 name:定义逻辑表表名,在该逻辑库下唯一 dataNode:定义逻辑表所属的dataNode,该属性需要与dataNode标签中name对应;多个dataNode逗号分隔 rule:分片规则的名字,分片规则名字是在rule.xml中定义的 primaryKey:逻辑表对应真实表的主键 type:逻辑表的类型,目前逻辑表只有全局表和普通表,如果未配置,就是普通表;全局表,配置为global dataNode标签中定义了MyCat中的数据结点,也就是我们通常说的数据分片。 一个dataNode标签就是一个独立的数据分片。 核心属性 该标签在MyCat逻辑库中作为底层标签存在,直接定义了具体的数据库实例、读写分离、心跳语句。 核心属性 rule.xml中定义所有拆分表规则,在使用过程中可以灵活的使用分片算法,或者对同一个分片算法使用不同的参数,它让分片过程所配置化。 如下所示,在此处就会最终引用到rule.xml 下图就是rule.xml文件的内容 server.xml配置文件包含了MyCat的系统配置信息,主要有两个重要标签:system、user 配置MyCat中的系统配置信息(系统运行的环境信息),对应的系统配置项及其含义 配置用户以及用户所具备的权限信息 如果不配置对应的权限就代表它可以对逻辑库当中的所有的逻辑表进行任何操作 如果要控制,就需要在privileges这个标签当中来进行控制 dml=“0000” 表示什么权限也没有 dml ="1111"表示具有增改查删权限 dml="1110"表示具有增改查权限 垂直分表:将一个表结构拆分为多个表结构,两个表结构再通过主键或者是外键产生关联。垂直分表是需要我们在业务程序中去操作的 我们不演示垂直分表了,下面看垂直分库 在业务系统中, 涉及以下表结构 ,但是由于用户与订单每天都会产生大量的数据, 单台服务器的数据存储及处理能力是有限的, 可以对数据库表进行拆分, 原有的数据库表如下。 现在考虑将其进行垂直分库操作,将商品相关的表拆分到一个数据库服务器,订单表拆分的一个数据库服务器,用户及省市区表拆分到一个服务器。最终结构如下: 三台服务器,并且在192.168.200.210,192.168.200.213, 192.168.200.214上面创建数据库shopping。 需要去配置对应的逻辑库、逻辑表,然后再执行逻辑表分别落在哪一个分片,关联的数据结点是哪个 primaryKey:逻辑表对应真实表的主键 我们下面并没有指定rule,只有在涉及到分表的时候再指定rule,我们这里是垂直分库,所以不需要指定分配规则 数据结点/分片结点关联的节点主机,关联的是shopping数据库 数据库信息 表只是在schema.xml中定义出来了,仅仅是逻辑上存在,数据库中并不存在,我们需要创建表结构 假如我们同时访问 192.168.200.213、 192.168.200.214数据库,在没有配置的情况下是会报错的,因MyCat在执行该SQL语句时,需要往具体的数据库服务器中路由,而当前没有一个数据库服务器完全包含了订单以及省市区的表结构,造成SQL语句失败,报错。 对于省市区表在业务系统中属于字典表,里面的数据不多而且不会变,所以对于这一类的表来说,我们可以将其设置为全局表,利于业务操作 全局表:在每一个数据分片当中都会存在这张表,并且数据是一致的 对于省、市、区/县表tb_areas_provinces , tb_areas_city , tb_areas_region,是属于数据字典表,在多个业务模块中都可能会遇到,可以将其设置为全局表,利于业务操作。 只需要在设计逻辑表table的时候添加标签type=“global” 在业务系统中,有一张日志表,每天业务系统会产生大量的日志数据,单台服务器的数据存储及处理能力是有限的,可以对数据库表进行拆分。 创建逻辑表tb_log,这张表的数据量要分散地存储在三个节点当中,此时三个数据库当中所存放的表结构是一样的,但是所存储的数据是不一样的 在这里进行分表了,所以我们声明了分表规则rule=“mod-long” rule=“mod-long”,会根据主键id进行求模(默认是模3),结果等于0就落在第一个节点,为1则落在第二个节点,为2则落在第三个节点 datahost标签我们就不用定义了,之前定义过了 配置root用户既可以访问 SHOPPING 逻辑库,又可以访问ITCAST逻辑库 在分片的时候我们指定了columns id字段进行分片,并且指定了算法algorithm rang-long 如果我们想自定义范围,我们只需要修改autopartition-long.txt文件 根据指定的字段值与节点数量进行求模运算,根据运算结果, 来决定该数据属于哪一个分片 在进行分片操作的时候会计算我们所指定的字段的哈希值,然后根据字段的哈希值来决定当前这条记录到底应该落在哪一个数据节点上。 我们再增加一个节点,只要我们的id相同,就会放在同一个分片当中,所以不用担心增加分片后,相同的数据会不会落在同一个分片的问题 通过在配置文件中配置可能的枚举值,指定数据分布到不同数据节点上,本规则适用于按照省份、性别、状态查分数据扥业务 如果枚举值是1,那就落在第一个数据节点;如果枚举值是2,那就落在第二个数据节点;如果枚举值是3,那就落在第三个数据节点 默认节点:如果我们传入的数据超过了枚举值,那我们就默认放入到第三个数据节点中 mapFile映射文件关联的是一个外部文件,在这个外部文件当中所配置的就是枚举值与对应的分片结点 运行阶段由应用自主决定路由到那个分片 , 直接根据字符子串(必须是数字)计算分片号。 比如是0就落在第一个分片上,1就落在第二个分片上,2就落在第三个分片上 插入下面的数据 按照我们上面的配置,id值前两位会决定在哪个数据节点当中 startIndex=0,size = 2 0000001 路由到第一个分片,0100001路由到第二个分片 该算法类似于十进制求模运算,但是为二进制的操作 例如:取id的二进制低10位与1111111111 进行位 & 运算,位与运算最小值为 0000000000,最大值为1111111111,转换为十进制,也就是位于0-1023之间。 特点 下面的语句分别代表分片的数量和分片的长度 2代表有两个分片节点,1代表有一个分片节点 并且前面两个分页节点长度都是256,后面一个分页节点长度是512 512+512=1024 也就是说前面两个分片节点dn4,dn5,每一个分片节点的长度数256 dn6分片节点的长度是256 比如我们想插入一个id为515的数据,那515&1023(都转换成二进制),最终会算出一个二进制,将二进制再转换成十进制,并对应的对应的分片,下图是对应在第三个数据分片上 截取字符串中的指定位置的子字符串, 进行hash算法, 算出分片。 按照日期及对应的时间周期来分片 partionday: 10 周期为10天来进行分片 需要注意的是: 我们在配置逻辑表的时候所指定的分片有三个,dn4,dn5,dn6,那么在配置分片规则的时候所计算出来的分片数量也必须得是三个 2022-01-01 到 2022-01-30 每10天一个周期, 刚好是三个分片 使用场景为按照月份来分片,每个自然月为一个分片。 如果查过了end时间,就需要从头再计算分片,比如插入的是4月份的数据,就会落在第一个节点当中 MyCat是数据库分库分表的中间件,有了这个中间件之后,我们的应用程序不需要去直接连接底层的数据库。而只需要去连接MyCat这个中间件,由MyCat这个中间件再去连接底层的数据库。从而完成数据库的分库分表操作。 我们要想通过MyCat来完成数据库以及表结构的拆分,那么就需要在MyCat的配置文件中去配置对应的逻辑库逻辑表 我们在配置逻辑表的时候,通常会指定逻辑表的数据会位于哪几个数据节点以及分片规则是什么 比如我们这个地方指定的分片规则是根据status字段的枚举值进行分片 对于MyCat来说,接收客户端的请求再去执行以及解析这一块的SQL语句的时候,他会去统计所执行的SQL语句,执行了哪些SQL语句、SQL语句执行的频次、这些SQL语句操作了哪些数据库、哪些表、SQL语句的执行耗时、哪些SQL语句的执行效率比较低、整个MyCat服务器CPU内存磁盘的使用情况 对于上面的情况都会进行监控 我们要发送一条insert语句给MyCat,要经历哪几步操作呢? 解析SQL 分片分析 这个地方的分片,就是根据配置文件中配置的分片规则,即根据status进行分片 路由分析 此处是根据status的值进行路由 读写分析分析 假如我们执行select * from tb_user语句,是会进入到哪一个分片? 依然是解析SQL、分片分析、路由分析、读写分离分析… 而在分片分析、路由分析时,都是根据我们配置文件中配置的分片规则status字段,所以我们现在就来看一下查询语句中是否status字段,很显然我们这里是没有的,所以我们将这条SQL路由到所有的分片节点,在所有的服务器上同时执行此SQL语句,执行结果再返回给MyCat。 如果有status字段的话,我们就能根据status的值确定分配在哪个数据分片、路由到哪里 如果没有status字段的时候,会将这条SQL路由给下面的各个分片节点 在MyCat中需要对结果集进行再次的处理,主要包括结果合并、聚合处理、排序处理、分页处理… select * from tb_user where status in(1,3) order by id; SQL语句是怎么个执行过程? 解析SQL、分片分析、路由分析。读写分离分析 但是在分片分析的时候会判定当前语句的查询条件,status in(1,3),而status 刚好就是我们分片规则中的字段,那1对应的就是第一个节点,3对应的就是第三个节点 第一、三节点执行完SQL语句后将执行结果进行返回 在MyCat当中需要对结果集进行结果合并、聚合处理、排序处理、分页处理等 Mycat默认开通2个端口,可以在server.xml中进行修改。 连接MyCat,如果是本地的话,不需要添加-h 192.168.200.210,如果是远程的,需要添加 -h 服务端口号 管理指令 上面是命令行的形式,不够直观,我们可以借助管理工具进行查看 Mycat-web(Mycat-eye)是对mycat-server提供监控服务,功能不局限于对mycat-server使用。他通过JDBC连接对Mycat、Mysql监控,监控远程服务器(目前仅限于linux系统)的cpu、内存、网络、磁盘。 Mycat-eye运行过程中需要依赖zookeeper,因此需要先安装zookeeper。 zookeeper安装 Mycat-web安装 视频:MyCat监控1 配置MyCat信息 到第二个节点的 第一、三节点执行完SQL语句后将执行结果进行返回 在MyCat当中需要对结果集进行结果合并、聚合处理、排序处理、分页处理等 Mycat默认开通2个端口,可以在server.xml中进行修改。 连接MyCat,如果是本地的话,不需要添加-h 192.168.200.210,如果是远程的,需要添加 -h 服务端口号 管理指令 上面是命令行的形式,不够直观,我们可以借助管理工具进行查看 Mycat-web(Mycat-eye)是对mycat-server提供监控服务,功能不局限于对mycat-server使用。他通过JDBC连接对Mycat、Mysql监控,监控远程服务器(目前仅限于linux系统)的cpu、内存、网络、磁盘。 Mycat-eye运行过程中需要依赖zookeeper,因此需要先安装zookeeper。 zookeeper安装 Mycat-web安装 视频:MyCat监控1 配置MyCat信息:配置逻辑表,dataNode属性表示这个逻辑表配置的数据结点有哪几个
DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<schema name="DB01" checkSQLschema="true" sqlMaxLimit="100" randomDataNode="dn1">
<table name="tb_order" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" splitTableNames ="true"/>
schema>
<dataNode name="dn1" dataHost="dhost1" database="db01" />
<dataNode name="dn2" dataHost="dhost2" database="db01" />
<dataNode name="dn3" dataHost="dhost3" database="db01" />
<dataHost name="dhost1" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1" slaveThreshold="100">
<heartbeat>select user()heartbeat>
<writeHost host="hostM1"
url="jdbc:mysql://192.168.200.210:3306??serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=utf-8&zeroDateTimeBehavior=convertToNull&useSSL=false&allowPublicKeyRetrieval=true"
user="root"
password="1234">
writeHost>
dataHost>
<dataHost name="dhost2" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1" slaveThreshold="100">
<heartbeat>select user()heartbeat>
<writeHost host="hostM1"
url="jdbc:mysql://192.168.200.213:3306??serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=utf-8&zeroDateTimeBehavior=convertToNull&useSSL=false&allowPublicKeyRetrieval=true"
user="root"
password="1234">
writeHost>
dataHost>
<dataHost name="dhost3" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1" slaveThreshold="100">
<heartbeat>select user()heartbeat>
<writeHost host="hostM1"
url="jdbc:mysql://192.168.200.214:3306??serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=utf-8&zeroDateTimeBehavior=convertToNull&useSSL=false&allowPublicKeyRetrieval=true"
user="root"
password="1234">
writeHost>
dataHost>
mycat:schema>
3.2.2 server.xml
<property name="readOnly">trueproperty>
<user name="root" defaultAccount="true">
<property name="password">123456</property>
<property name="schemas">DB01</property>
<property name="defaultSchema">TESTDB</property>
<!--No MyCAT Database selected 错误前会尝试使用该schema作为schema,不设置则为null,报错 -->
<!-- 表级 DML 权限设置 -->
<!--
<privileges check="false">
<schema name="TESTDB" dml="0110" >
<table name="tb01" dml="0000"></table>
<table name="tb02" dml="1111"></table>
</schema>
</privileges>
-->
</user>
<user name="user">
<property name="password">123456</property>
<property name="schemas">DB01</property>
<property name="readOnly">true</property>
<property name="defaultSchema">TESTDB</property>
</user>
3.3 启动测试
#启动
bin/mycat start
#停止
bin/mycat stop
mysql -h 192.168.200.210 -P 8066 -uroot -p123456
show tables;
CREATE TABLE TB_ORDER (
id BIGINT(20) NOT NULL,
title VARCHAR(100) NOT NULL ,
PRIMARY KEY (id)
) ENGINE=INNODB DEFAULT CHARSET=utf8 ;
INSERT INTO TB_ORDER(id,title) VALUES(1,'goods1');
INSERT INTO TB_ORDER(id,title) VALUES(2,'goods2');
INSERT INTO TB_ORDER(id,title) VALUES(3,'goods3');
INSERT INTO TB_ORDER(id,title) VALUES(1,'goods1');
INSERT INTO TB_ORDER(id,title) VALUES(2,'goods2');
INSERT INTO TB_ORDER(id,title) VALUES(3,'goods3');
INSERT INTO TB_ORDER(id,title) VALUES(5000000,'goods5000000');
INSERT INTO TB_ORDER(id,title) VALUES(10000000,'goods10000000');
INSERT INTO TB_ORDER(id,title) VALUES(10000001,'goods10000001');
INSERT INTO TB_ORDER(id,title) VALUES(15000000,'goods15000000');
INSERT INTO TB_ORDER(id,title) VALUES(15000001,'goods15000001');
四、MyCat配置
4.1 schema.xml 配置文件
4.1.1 schema标签
4.1.1.1 table标签
4.1.2 dataNode 标签
4.1.3 dataHost标签
4.2 rule.xml
4.3 server.xml
4.3.1 system标签
属性
取值
含义
charset
utf8
设置Mycat的字符集, 字符集需要与MySQL的字符集保持一致
nonePasswordLogin
0,1
0为需要密码登陆、1为不需要密码登陆 ,默认为0,设置为1则需要指定默认账户
useHandshakeV10
0,1
使用该选项主要的目的是为了能够兼容高版本的jdbc驱动, 是否采用HandshakeV10Packet来与client进行通信, 1:是, 0:否
useSqlStat
0,1
开启SQL实时统计, 1 为开启 , 0 为关闭 ;开启之后, MyCat会自动统计SQL语句的执行情况 ; mysql -h 127.0.0.1 -P 9066-u root -p 查看MyCat执行的SQL, 执行效率比较低的SQL , SQL的整体执行情况、读写比例等 ; show @@sql ; show@@sql.slow ; show @@sql.sum ;
useGlobleTableCheck
0,1
是否开启全局表的一致性检测。1为开启 ,0为关闭 。
sqlExecuteTimeout
1000
SQL语句执行的超时时间 , 单位为 s ;
sequnceHandlerType
0,1,2
用来指定Mycat全局序列类型,0 为本地文件,1 为数据库方式,2 为时间戳列方式,默认使用本地文件方式,文件方式主要用于测试
sequnceHandlerPattern
正则表达式
必须带有MYCATSEQ或者 mycatseq进入序列匹配流程 注意MYCATSEQ_有空格的情况
subqueryRelationshipCheck
true,false
子查询中存在关联查询的情况下,检查关联字段中是否有分片字段 .默认 false
useCompression
0,1
开启mysql压缩协议 , 0 : 关闭, 1 : 开启
fakeMySQLVersion
5.5,5.6
设置模拟的MySQL版本号
defaultSqlParser
由于MyCat的最初版本使用了FoundationDB的SQL解析器, 在MyCat1.3后增加了Druid解析器, 所以要设置defaultSqlParser属性来指定默认的解析器; 解析器有两个 :druidparser 和 fdbparser, 在MyCat1.4之后,默认是druidparser,fdbparser已经废除了
processors
1,2…
指定系统可用的线程数量, 默认值为CPU核心x 每个核心运行线程数量; processors 会影响processorBufferPool,processorBufferLocalPercent,processorExecutor属性, 所有, 在性能调优时, 可以适当地修改processors值
processorBufferChunk
指定每次分配Socket Direct Buffer默认值为4096字节, 也会影响BufferPool长度,如果一次性获取字节过多而导致buffer不够用, 则会出现警告, 可以调大该值
processorExecutor
指定NIOProcessor上共享businessExecutor固定线程池的大小;MyCat把异步任务交给 businessExecutor线程池中, 在新版本的MyCat中这个连接池使用频次不高, 可以适当地把该值调小
packetHeaderSize
指定MySQL协议中的报文头长度, 默认4个字节
maxPacketSize
指定MySQL协议可以携带的数据最大大小, 默认值为16M
idleTimeout
30
指定连接的空闲时间的超时长度;如果超时,将关闭资源并回收, 默认30分钟
txIsolation
1,2,3,4
初始化前端连接的事务隔离级别,默认为REPEATED_READ , 对应数字为3READ_UNCOMMITED=1;READ_UNCOMMITED=1;SERIALIZABLE=4;
sqlExecuteTimeout
300
执行SQL的超时时间, 如果SQL语句执行超时,将关闭连接; 默认300秒;
serverPort
8066
定义MyCat的使用端口, 默认8066
managerPort
9066
定义MyCat的管理端口, 默认9066
4.3.2 user标签
如果逻辑库与逻辑表配置的权限不一样,那我们就按照table逻辑表的权限为准
五、MyCat分片
5.1 垂直分库
5.1.1 场景
5.1.2 服务器
5.1.3 schema.xml 配置
<schema name="SHOPPING" checkSQLschema="true" sqlMaxLimit="100">
<table name="tb_goods_base" dataNode="dn1" primaryKey="id" />
<table name="tb_goods_brand" dataNode="dn1" primaryKey="id" />
<table name="tb_goods_cat" dataNode="dn1" primaryKey="id" />
<table name="tb_goods_desc" dataNode="dn1" primaryKey="goods_id" />
<table name="tb_goods_item" dataNode="dn1" primaryKey="id" />
<table name="tb_order_item" dataNode="dn2" primaryKey="id" />
<table name="tb_order_master" dataNode="dn2" primaryKey="order_id" />
<table name="tb_order_pay_log" dataNode="dn2" primaryKey="out_trade_no" />
<table name="tb_user" dataNode="dn3" primaryKey="id" />
<table name="tb_user_address" dataNode="dn3" primaryKey="id" />
<table name="tb_areas_provinces" dataNode="dn3" primaryKey="id"/>
<table name="tb_areas_city" dataNode="dn3" primaryKey="id"/>
<table name="tb_areas_region" dataNode="dn3" primaryKey="id"/>
schema>
<dataNode name="dn1" dataHost="dhost1" database="shopping" />
<dataNode name="dn2" dataHost="dhost2" database="shopping" />
<dataNode name="dn3" dataHost="dhost3" database="shopping" />
<dataHost name="dhost1" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1"
slaveThreshold="100">
<heartbeat>select user()heartbeat>
<writeHost host="master" url="jdbc:mysql://192.168.200.210:3306? useSSL=false&serverTimezone=Asia/Shanghai&characterEncoding=utf8"
user="root" password="1234" />
dataHost>
<dataHost name="dhost2" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1"
slaveThreshold="100">
<heartbeat>select user()heartbeat>
<writeHost host="master" url="jdbc:mysql://192.168.200.213:3306?useSSL=false&serverTimezone=Asia/Shanghai&characterEncoding=utf8"
user="root" password="1234" />
dataHost>
<dataHost name="dhost3" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1"
slaveThreshold="100">
<heartbeat>select user()heartbeat>
<writeHost host="master" url="jdbc:mysql://192.168.200.214:3306?useSSL=false&serverTimezone=Asia/Shanghai&characterEncoding=utf8"
user="root" password="1234" />
dataHost>
5.1.4 server.xml 配置
<user name="root" defaultAccount="true">
<property name="password">123456property>
<property name="schemas">SHOPPINGproperty>
user>
<user name="user">
<property name="password">123456property>
<property name="schemas">SHOPPINGproperty>
<property name="readOnly">trueproperty>
user>
5.2 垂直分库测试
source /root/shopping-table.sql
source /root/shopping-insert.sql
5.2.1 配置全局表
<table name="tb_areas_provinces" dataNode="dn1,dn2,dn3" primaryKey="id" type="global"/>
<table name="tb_areas_city" dataNode="dn1,dn2,dn3" primaryKey="id" type="global"/>
<table name="tb_areas_region" dataNode="dn1,dn2,dn3" primaryKey="id" type="global"/>
5.3 水平分表
5.3.1 场景
5.3.2 服务器
5.3.3 schema.xml配置
<schema name="ITCAST" checkSQLschema="true" sqlMaxLimit="100">
<table name="tb_log" dataNode="dn4,dn5,dn6" primaryKey="id" rule="mod-long" />
schema>
<dataNode name="dn4" dataHost="dhost1" database="itcast" />
<dataNode name="dn5" dataHost="dhost2" database="itcast" />
<dataNode name="dn6" dataHost="dhost3" database="itcast" />
5.3.4 server.xml配置
<user name="root" defaultAccount="true">
<property name="password">123456property>
<property name="schemas">SHOPPING,ITCASTproperty>
user>
5.4水平分表测试
CREATE TABLE tb_log (
id bigint(20) NOT NULL COMMENT 'ID',
model_name varchar(200) DEFAULT NULL COMMENT '模块名',
model_value varchar(200) DEFAULT NULL COMMENT '模块值',
return_value varchar(200) DEFAULT NULL COMMENT '返回值',
return_class varchar(200) DEFAULT NULL COMMENT '返回值类型',
operate_user varchar(20) DEFAULT NULL COMMENT '操作用户',
operate_time varchar(20) DEFAULT NULL COMMENT '操作时间',
param_and_value varchar(500) DEFAULT NULL COMMENT '请求参数名及参数值',
operate_class varchar(200) DEFAULT NULL COMMENT '操作类',
operate_method varchar(200) DEFAULT NULL COMMENT '操作方法',
cost_time bigint(20) DEFAULT NULL COMMENT '执行方法耗时, 单位 ms',
source int(1) DEFAULT NULL COMMENT '来源 : 1 PC , 2 Android , 3 IOS',
PRIMARY KEY (id)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
INSERT INTO tb_log (id, model_name, model_value, return_value, return_class, operate_user, operate_time, param_and_value, operate_class, operate_method, cost_time,source) VALUES('1','user','insert','success','java.lang.String','10001','2022-01-06 18:12:28','{\"age\":\"20\",\"name\":\"Tom\",\"gender\":\"1\"}','cn.itcast.controller.UserController','insert','10',1);
INSERT INTO tb_log (id, model_name, model_value, return_value, return_class, operate_user, operate_time, param_and_value, operate_class, operate_method, cost_time,source) VALUES('2','user','insert','success','java.lang.String','10001','2022-01-06 18:12:27','{\"age\":\"20\",\"name\":\"Tom\",\"gender\":\"1\"}','cn.itcast.controller.UserController','insert','23',1);
INSERT INTO tb_log (id, model_name, model_value, return_value, return_class, operate_user, operate_time, param_and_value, operate_class, operate_method, cost_time,source) VALUES('3','user','update','success','java.lang.String','10001','2022-01-06 18:16:45','{\"age\":\"20\",\"name\":\"Tom\",\"gender\":\"1\"}','cn.itcast.controller.UserController','update','34',1);
INSERT INTO tb_log (id, model_name, model_value, return_value, return_class, operate_user, operate_time, param_and_value, operate_class, operate_method, cost_time,source) VALUES('4','user','update','success','java.lang.String','10001','2022-01-06 18:16:45','{\"age\":\"20\",\"name\":\"Tom\",\"gender\":\"1\"}','cn.itcast.controller.UserController','update','13',2);
INSERT INTO tb_log (id, model_name, model_value, return_value, return_class, operate_user, operate_time, param_and_value, operate_class, operate_method, cost_time,source) VALUES('5','user','insert','success','java.lang.String','10001','2022-01-06 18:30:31','{\"age\":\"200\",\"name\":\"TomCat\",\"gender\":\"0\"}','cn.itcast.controller.UserController','insert','29',3);
INSERT INTO tb_log (id, model_name, model_value, return_value, return_class, operate_user, operate_time, param_and_value, operate_class, operate_method, cost_time,source) VALUES('6','user','find','success','java.lang.String','10001','2022-01-06 18:30:31','{\"age\":\"200\",\"name\":\"TomCat\",\"gender\":\"0\"}','cn.itcast.controller.UserController','find','29',2);
六、分片规则
6.1 范围分片
属性
描述
columns
标识将要分片的表字段
algorithm
指定分片函数与function的对应关系
class
指定该分片算法对应的类
mapFile
对应的外部配置文件
type
默认值为0 ; 0 表示Integer , 1 表示String
defaultNode
默认节点 默认节点的所用:枚举分片时,如果碰到不识别的枚举值, 就让它路由到默认节点 ; 如果没有默认值,碰到不识别的则报错
6.2 取模分片
属性
描述
columns
标识将要分片的表字段
algorithm
指定分片函数与function的对应关系
class
指定该分片算法对应的类
count
数据节点的数量
6.3 一致性hash
属性
描述
columns
标识将要分片的表字段
algorithm
指定分片函数与function的对应关系
class
指定该分片算法对应的类
seed
创建murmur_hash对象的种子,默认0
count
要分片的数据库节点数量,必须指定,否则没法分片
virtualBucketTimes
一个实际的数据库节点被映射为这么多虚拟节点,默认是160倍,也就是虚拟节点数是物理节点数的160倍;virtualBucketTimes*count就是虚拟结点数量 ;
weightMapFile
节点的权重,没有指定权重的节点默认是1。以properties文件的格式填写,以从0开始到count-1的整数值也就是节点索引为key,以节点权重值为值。所有权重值必须是正整数,否则以1代替
bucketMapPath
用于测试时观察各物理节点与虚拟节点的分布情况,如果指定了这个属性,会把虚拟节点的murmur hash值与物理节点的映射按行输出到这个文件,没有默认值,如果不指定,就不会输出任何东西
6.4 枚举分片
属性
描述
columns
标识将要分片的表字段
algorithm
指定分片函数与function的对应关系
class
指定该分片算法对应的类
mapFile
对应的外部配置文件
type
默认值为0 ; 0 表示Integer , 1 表示String
defaultNode
默认节点 ; 小于0 标识不设置默认节点 , 大于等于0代表设置默认节点 ;默认节点的所用:枚举分片时,如果碰到不识别的枚举值, 就让它路由到默认节点 ; 如果没有默认值,碰到不识别的则报错 。
6.5 应用指定算法
属性
描述
columns
标识将要分片的表字段
algorithm
指定分片函数与function的对应关系
class
指定该分片算法对应的类
startIndex
字符子串起始索引
size
字符长度
partitionCount
分区(分片)数量
defaultPartition
默认分片(在分片数量定义时, 字符标示的分片编号不在分片数量内时,使用默认分片)
CREATE TABLE tb_app (
id varchar(10) NOT NULL COMMENT 'ID',
name varchar(200) DEFAULT NULL COMMENT '名称',
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
insert into tb_app (id,name) values('0000001','Testx00001');
insert into tb_app (id,name) values('0100001','Test100001');
insert into tb_app (id,name) values('0100002','Test200001');
insert into tb_app (id,name) values('0200001','Test300001');
insert into tb_app (id,name) values('0200002','TesT400001');
6.6 固定Hash算法
属性
描述
columns
标识将要分片的表字段名
algorithm
指定分片函数与function的对应关系
class
指定该分片算法对应的类
partitionCount
分片个数列表
partitionLength
分片范围列表
6.7 字符串Hash解析
属性
描述
columns
标识将要分片的表字段
algorithm
指定分片函数与function的对应关系
class
指定该分片算法对应的类
partitionLength
hash求模基数 ; length*count=1024 (出于性能考虑)
partitionCount
分区数
hashSlice
hash运算位 , 根据子字符串的hash运算 ; 0 代表 str.length(), -1 代表 str.length()-1 , 大于0只代表数字自身 ; 可以理解为substring(start,end),start为0则只表示0
6.8 按天(日期)分片
属性
描述
columns
标识将要分片的表字段
algorithm
指定分片函数与function的对应关系
class
指定该分片算法对应的类
dateFormat
日期格式
sBeginDate
开始日期
sEndDate
结束日期,如果配置了结束日期,则代码数据到达了这个日期的分片后,会重复从开始分片插入
sPartionDay
分区天数,默认值 10 ,从开始日期算起,每个10天一个分区
6.9 按自然月分片
属性
描述
columns
标识将要分片的表字段
algorithm
指定分片函数与function的对应关系
class
指定该分片算法对应的类
dateFormat
日期格式
sBeginDate
开始日期
sEndDate
结束日期,如果配置了结束日期,则代码数据到达了这个日期的分片后,会重复从开始分片插入
七、MyCat管理及监控
7.1 原理
所以此条SQL语句会路由到第一个节点和第三个节点,是不会路由到第二个节点的
7.2 管理工具
mysql -h 192.168.200.210 -p 9066 -uroot -p123456
命令
含义
show @@help
查看Mycat管理工具帮助文档
show @@version
查看Mycat的版本
reload @@config
重新加载Mycat的配置文件
show @@datasource
查看Mycat的数据源信息
show @@datanode
查看MyCat现有的分片节点信息
show @@threadpool
查看Mycat的线程池信息
show @@sql
查看执行的SQL
show @@sql.sum
查看执行的SQL统计
7.2.1 安装
7.3 MyCat监控
7.2 管理工具
mysql -h 192.168.200.210 -p 9066 -uroot -p123456
命令
含义
show @@help
查看Mycat管理工具帮助文档
show @@version
查看Mycat的版本
reload @@config
重新加载Mycat的配置文件
show @@datasource
查看Mycat的数据源信息
show @@datanode
查看MyCat现有的分片节点信息
show @@threadpool
查看Mycat的线程池信息
show @@sql
查看执行的SQL
show @@sql.sum
查看执行的SQL统计
7.2.1 安装
7.3 MyCat监控
你可能感兴趣的:(#,MySQL,mysql,数据库,java)