Mycat的配置与分片操作

基本配置

• 1 . 在mycat/conf目录下，MyCat核心配置文件：schema.xml

xml version="1.0"?>

<mycat:schema xmlns:mycat="http://io.mycat/">
        
        
        
        
        <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1"/>
        
        
        
        <dataNode name="dn1" dataHost="localhost1" database="mldn" />
        
        <dataHost name="localhost1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
            
            <heartbeat>select user()heartbeat>
            
            <writeHost host="hostM1" url="192.168.1.128:3306" user="root" password="123456">writeHost>
        dataHost>
mycat:schema>

• 2 . dataHost标签上属性释义：
  • balance:负载均衡类型
    • 0：不开启读写分离机制，所有读操作都发送到当前可用的writeHost上
    • 1：全部的readHost与stand by writeHost参与select语句的负载均衡，
    • 2：所有读操作都随机在writeHost、readHost上分发
    • 3：所有读请求随机分发到writeHost对应的readHost执行，writeHost不负担读压力
  • writeType:负载均衡类型
    • 0：所有写操作发送到配置的第一个writeHost，当第一个writeHost宕机时，切换到第二个writeHost，重新启动后以切换后的为准，切换记录在配置文件：dnindex.properties中
    • 1：所有写操作都随发送到配置的writeHost
    • 2：尚未实现
  • switchType:切换方式
    • -1：不自动切换
    • 1：自动切换（默认）
    • 2：基于MySql主从同步的状态来决定是否切换

读写分离

一. MycSQL主从配置

• 1 . 前提：多台MySQL服务器主机的时间是同步的，否则无法实现主从配置

• 2 . MASTER修改MySQL配置文件vim /usr/local/mysql/my.cnf

log-bin=mysql-bin-1 : 表示配置同步的bin的文件名称，不同的主从关系组，名称不同
server_id=196 ： 表示MySQL服务的编号，这个编号一般取IP的最后一位，也可自定义

• 3 . MASTER启动MySQL服务nohup mysqld_safe --user=root > /dev/null 2>&1 &
• 4 . MASTER 登陆MySQL数据库：mysql -uroot -p123456,查看master状态show master stats;

其中
File(tid_set) : 表示主机名称（mysql-bin-1.000001）
Position : 表示同步的节点位置

• 5 . MASTER建立同步用户：sync_user

GRANT REPLICCATION SLAVE,REPLICATION CLIENT ON *.* TO 'sync_user'@'192.168.1.%' IDENTIFIED BY '123456';
flush privileges;

• 6 . SLAVE修改MySQL配置文件vim /usr/local/mysql/my.cnf

log-bin=mysql-bin-1 : 表示配置同步的bin的文件名称，不同的主从关系组，名称不同
server_id=168 ： 表示MySQL服务的编号，这个编号一般取IP的最后一位，也可自定义

• 7 . MASTER/SLAVE : 若服务已经启动，需要删除自动配置的编号文件，否则无法同步rm /usr/local/mysql/data/auto.cnf
• 8 . SLAVE 启动MySQL服务nohup mysqld_safe --user=root > /dev/null 2>&1 &
• 9 . SLAVE 登陆MySQL数据库：mysql -uroot -p123456
• 10 . SLAVE进行主从关系配置

• 若此时已经启动了从主机，必须先停止：stop slave;

• 停止之后还想重新启动，必须清楚所有的日志信息： flush logs;
• 定义master主机：

change master to master_host='192.168.1.128',master_user='sync_user',master_password='123456',master_log_file='mysql-bin-1.000001',master_log_pos=435 ;

master_host表示mast的主机ip
master_user表示可同步的账号
master_password表示同步账号的密码
master_log_file表示MASTERshow master stats;查看时的File(tid_set)
master_log_pos表示MASTERshow master stats;查看时的Position

• 启动slave：start slave;
• 查询当前从主机状态：show slave status\G;
• 若出现以下代码表示已经启动完成

Slave_IO_Running:YES
Slave_SQL_Running:Yes

二. MyCat读写分离配置

• 1 . 修改MyCat的schema.xml文件vim /usr/local/mycat/conf/schema.xml

xml version="1.0"?>

<mycat:schema xmlns:mycat="http://io.mycat/">
        
        
        
        
        <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1"/>
        
        
        
        <dataNode name="dn1" dataHost="localhost1" database="test" />
        
        <dataHost name="localhost1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
            
            <heartbeat>select user()heartbeat>
            
            <writeHost host="hostMaster" url="192.168.1.196:3306" user="root" password="123456">
                <readHost host="hostSlave" url="192.168.1.168:3306" user="root" password="123456"/>
            writeHost>
        dataHost>
mycat:schema>

• 2 . 对于读写分离的配置中：设置readHost读取：balance=3，设置writeHost与ReadHost共同分担读取：balance=2
• 3 . 启动MyCat服务：/usr/local/mycat/bin/mycat console
• 4 . 此时就完成了MyCat读写分离的相关配置

垂直分库

垂直分库实际上就是进行多表分库管理

• 1 . 分别在多台MySQL主机上进行多个表的创建
• 2 . 修改MyCat的配置文件vim /usr/local/mycat/conf/schema.xml

xml version="1.0"?>

<mycat:schema xmlns:mycat="http://io.mycat/">
        <schema name="TESTDB1" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1"/>
        <schema name="TESTDB2" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn2"/>
        <dataNode name="dn1" dataHost="localhost1" database="db1" />
        <dataNode name="dn2" dataHost="localhost2" database="db2" />
        <dataHost name="localhost1" maxCon="1000" minCon="10" balance="2"
                          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
                <heartbeat>select user()heartbeat>
                <writeHost host="host1" url="192.168.1.199:3306" user="root" password="123456"/>
        dataHost>
        <dataHost name="localhost2" maxCon="1000" minCon="10" balance="2"
                          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
                <heartbeat>select user()heartbeat>
                <writeHost host="host2" url="192.168.1.166:3306" user="root" password="123456"/>
        dataHost>
mycat:schema>

• 3 . 修改MyCat用户配置文件，将多个数据库配置到server.xml中vim /usr/local/mycat/conf/server.xml

<property name="schemas">TESTDB1,TESTDB2property>

• 4 . 启动MyCat服务/usr/local/mycat/bin/mycat console
• 5 . 此时即完成了垂直分库，数据操作时需要指定具体操作的是哪一个数据库

全局表

• 1 . 全局表的作用：可充当数据字典表，这张数据表会在所有的数据库中存在，但对外而言，只是一个逻辑数据库存在的数据表，当对该表进行变更操作时，所有数据库的该表都会发生相应的变化
• 2 . 在多台MySQL主机上分别建立各自的数据字典表
• 3 . 修改MyCat的核心配置文件vim /usr/local/mycat/conf/schema.xml

<mycat:schema xmlns:mycat="http://io.mycat/">
        <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
                <table name="dict" primaryKey="did" type="global" dataNode="dn1,dn2"/>
        schema>
        <schema name="TESTDB1" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1"/>
        <schema name="TESTDB2" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn2"/>
        <dataNode name="dn1" dataHost="localhost1" database="db1" />
        <dataNode name="dn2" dataHost="localhost2" database="db2" />
        <dataHost name="localhost1" maxCon="1000" minCon="10" balance="2"
                          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
                <heartbeat>select user()heartbeat>
                <writeHost host="host1" url="192.168.1.199:3306" user="root" password="123456"/>
        dataHost>
        <dataHost name="localhost2" maxCon="1000" minCon="10" balance="2"
                          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
                <heartbeat>select user()heartbeat>
                <writeHost host="host2" url="192.168.1.166:3306" user="root" password="123456"/>
        dataHost>
mycat:schema>

• 4 . 修改MyCat的用户配置文件vim /usr/local/mycat/conf/server.xml，将schema.xml配置的所有逻辑数据库，配置到该配置文件中

<property name="schemas">TESTDB1,TESTDB2,TESTDBproperty>

• 5 . 启动MyCat服务/usr/local/mycat/bin/mycat console
• 6 . 此时就完成了全局表的配置，此时只要对TESTDB该逻辑数据库进行dict表的更新或插入操作，所有的其他数据库（TESTDB1，TESTDB2）上的dict表都会得到更新

水平分库

• 一 .常用水平分库

• 水平分库指的是将一个数据量庞大的数据表分别保存到不同的数据库里，即：现在有多个数据库，这个库保存同样结构的数据表，这些数据根据MyCat的算法，分别保存到符合自身要求的数据库的数据表中，MyCat的分片规则配置文件在：/usr/local/mycat/conf/rule.xml中，目前常用的分片规则有：

• 求模分库：mod-long

• 范围分库：auto-sharding-long
• Hash分库：hash-int
• 月分库：sharding-by-month
• ER模型分库：childTable
• 自定义分库：CustomRule(该方式需要自己实现分库算法)

• 二 . 分片规则：编辑分片规则文件vim /usr/local/mycat/conf/rule.xml

• A . 求模分库

  • rule.xml的配置

<tableRule name="my-mod-long">
        <rule>
                <columns>idcolumns>
                <algorithm>mod-longalgorithm>
        rule>
tableRule>
<function name="my-mod-long" class="io.mycat.route.function.PartitionByMod">
        <property name="count">3property>
function>

• schema.xml配置

<mycat:schema xmlns:mycat="http://io.mycat/">
        <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
                <table name="data" primaryKey="id" dataNode="dn1,dn2,dn3" rule="my-mod-long"/>
        schema>
        <dataNode name="dn1" dataHost="localhost1" database="db1" />
        <dataNode name="dn2" dataHost="localhost2" database="db2" />
        <dataNode name="dn3" dataHost="localhost3" database="db3" />
        <dataHost name="localhost1" maxCon="1000" minCon="10" balance="2"
                          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
                <heartbeat>select user()heartbeat>
                <writeHost host="host1" url="192.168.1.199:3306" user="root" password="123456"/>
        dataHost>
        <dataHost name="localhost2" maxCon="1000" minCon="10" balance="2"
                          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
                <heartbeat>select user()heartbeat>
                <writeHost host="host2" url="192.168.1.166:3306" user="root" password="123456"/>
        dataHost>
        <dataHost name="localhost3" maxCon="1000" minCon="10" balance="2"
                          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
                <heartbeat>select user()heartbeat>
                <writeHost host="host3" url="192.168.1.176:3306" user="root" password="123456"/>
        dataHost>
mycat:schema>

• server.xml配置

<property name="schemas">TESTDBproperty>

• 启动MyCat服务/usr/local/mycat/bin/mycat console
• 使用客户端端口进行连接mysql -uroot -p123456 -h192.168.1.1 -P8066 -DTESTDB
• 此时，就实现了MyCat的求模分片，每对3进行取余，然后自动进行分片数据保存处理
• 序列的使用：

• 序列的配置，在usr/local/mycat/conf/sequence_conf.properties文件中
• 还需要在server.xml文件中配置
• 0
• 在SQL中使用 1187287110722392064表示序列增长
• INSERT INTO data (id,title) VALUES ( 1187287110726586368,@@hostname);

• B . 范围分库

  • 范围分库指的是，根据id的范围进行不同数据库的保存，或者根据数据大小的不同来进行保存
  • rule.xml的配置

<tableRule name="my-auto-sharding-long">
        <rule>
                <columns>idcolumns>
                <algorithm>my-auto-sharding-longalgorithm>
        rule>
tableRule>
<function name="my-auto-sharding-long" class="io.mycat.route.function.AutoPartitionByLong">
        <property name="mapFile">partition-long.txtproperty>
function>

 - 此时需要定义一个范围分库的规则问津`partition-long.txt`，并存放在`conf`目录中`vim /usr/local/mycat/conf/partition-long.txt`
 - partition-long.txt

根据数据编号划分
0-10000=0
10001-20000=1
20001-30000=2

 - 修改`schema.xml`匹配新的分片规则

<table name="data" primaryKey="id" dataNode="dn1,dn2,dn3" rule="my-auto-sharding-long"/>

• C . Hash分库

  • Hash分库指的是根据某个字段的的固定内容进行分片，例如：根据省份分片，根据城市分片,一般进行Hash分片处理的，都要有一些固定的值进行匹配
  • rule.xml配置

<tableRule name="my-by-intfile">
        <rule>
                <columns>titlecolumns>
                <algorithm>my-hash-intalgorithm>
        rule>
tableRule>
<function name="my-hash-int" class="io.mycat.route.function.PartitionByFileMap">
                < property name="type">1property>
        <property name="mapFile">partition-hash-int.txtproperty>
function>

- `schema.xml`配置

<table name="data" primaryKey="title" dataNode="dn1,dn2,dn3" rule="my-by-intfile"/>

• D . 按月分库

  • 每个月存入每个月单独的数据库中
  • rule.xml配置

<tableRule name="my-by-month">
        <rule>
                <columns>saledatecolumns>
                <algorithm>my-partbymonthalgorithm>
        rule>
tableRule>
<function name="my-partbymonth" class="io.mycat.route.function.PartitionByMonth">
                < property name="dateFormat">yyyy-MM-ddproperty>
        <property name="sBeginDate">2017-01-01property>
function>

- `schema.xml`配置

<mycat:schema xmlns:mycat="http://io.mycat/">
        <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
                
                <table name="data" primaryKey="id" dataNode="dn$1-12" rule="my-by-month"/>
        schema>
        <dataNode name="dn1" dataHost="localhost1" database="db1" />
        <dataNode name="dn2" dataHost="localhost2" database="db2" />
        <dataNode name="dn3" dataHost="localhost3" database="db3" />
        <dataNode name="dn4" dataHost="localhost4" database="db4" />
        <dataNode name="dn5" dataHost="localhost5" database="db5" />
        <dataNode name="dn6" dataHost="localhost6" database="db6" />
        <dataNode name="dn7" dataHost="localhost7" database="db7" />
        <dataNode name="dn8" dataHost="localhost8" database="db8" />
        <dataNode name="dn9" dataHost="localhost9" database="db9" />
        <dataNode name="dn10" dataHost="localhost10" database="db10" />
        <dataNode name="dn11" dataHost="localhost11" database="db11" />
        <dataNode name="dn12" dataHost="localhost12" database="db12" />
        <dataHost name="localhost1" maxCon="1000" minCon="10" balance="2"
                          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
                <heartbeat>select user()heartbeat>
                <writeHost host="host1" url="192.168.1.166:3306" user="root" password="123456"/>
        dataHost>
        <dataHost name="localhost2" maxCon="1000" minCon="10" balance="2"
                          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
                <heartbeat>select user()heartbeat>
                <writeHost host="host2" url="192.168.1.199:3306" user="root" password="123456"/>
        dataHost>
        <dataHost name="localhost3" maxCon="1000" minCon="10" balance="2"
                          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
                <heartbeat>select user()heartbeat>
                <writeHost host="host3" url="192.168.1.116:3306" user="root" password="123456"/>
        dataHost>
        <dataHost name="localhost4" maxCon="1000" minCon="10" balance="2"
                          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
                <heartbeat>select user()heartbeat>
                <writeHost host="host4" url="192.168.1.150:3306" user="root" password="123456"/>
        dataHost>
        <dataHost name="localhost5" maxCon="1000" minCon="10" balance="2"
                          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
                <heartbeat>select user()heartbeat>
                <writeHost host="host5" url="192.168.1.152:3306" user="root" password="123456"/>
        dataHost>
        <dataHost name="localhost6" maxCon="1000" minCon="10" balance="2"
                          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
                <heartbeat>select user()heartbeat>
                <writeHost host="host6" url="192.168.1.177:3306" user="root" password="123456"/>
        dataHost>
        <dataHost name="localhost7" maxCon="1000" minCon="10" balance="2"
                          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
                <heartbeat>select user()heartbeat>
                <writeHost host="host7" url="192.168.1.136:3306" user="root" password="123456"/>
        dataHost>
        <dataHost name="localhost8" maxCon="1000" minCon="10" balance="2"
                          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
                <heartbeat>select user()heartbeat>
                <writeHost host="host8" url="192.168.1.153:3306" user="root" password="123456"/>
        dataHost>
        <dataHost name="localhost9" maxCon="1000" minCon="10" balance="2"
                          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
                <heartbeat>select user()heartbeat>
                <writeHost host="host9" url="192.168.1.159:3306" user="root" password="123456"/>
        dataHost>
        <dataHost name="localhost10" maxCon="1000" minCon="10" balance="2"
                          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
                <heartbeat>select user()heartbeat>
                <writeHost host="host10" url="192.168.1.176:3306" user="root" password="123456"/>
        dataHost>
        <dataHost name="localhost11" maxCon="1000" minCon="10" balance="2"
                          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
                <heartbeat>select user()heartbeat>
                <writeHost host="host11" url="192.168.1.156:3306" user="root" password="123456"/>
        dataHost>
        <dataHost name="localhost12" maxCon="1000" minCon="10" balance="2"
                          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
                <heartbeat>select user()heartbeat>
                <writeHost host="host12" url="192.168.1.136:3306" user="root" password="123456"/>
        dataHost>
mycat:schema>

• E . ER模型分库

  • 根据数据库的ER模型进行分库，即进行多表关联分库管理
  • schema.xml配置

<mycat:schema xmlns:mycat="http://io.mycat/">
        <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
                
                <table name="data" primaryKey="id" dataNode="dn$1-3" rule="my-mod-long">
                        <childTable name="data_details" joinKey="id" primaryKey="ddid" parentKey="id"/>
                table>
        schema>
        <dataNode name="dn1" dataHost="localhost1" database="db1" />
        <dataNode name="dn2" dataHost="localhost2" database="db2" />
        <dataNode name="dn3" dataHost="localhost3" database="db3" />
        <dataHost name="localhost1" maxCon="1000" minCon="10" balance="2"
                          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
                <heartbeat>select user()heartbeat>
                <writeHost host="host1" url="192.168.122.166:3306" user="root" password="123456"/>
        dataHost>
        <dataHost name="localhost2" maxCon="1000" minCon="10" balance="2"
                          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
                <heartbeat>select user()heartbeat>
                <writeHost host="host2" url="192.168.122.199:3306" user="root" password="123456"/>
        dataHost>
        <dataHost name="localhost3" maxCon="1000" minCon="10" balance="2"
                          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
                <heartbeat>select user()heartbeat>
                <writeHost host="host3" url="192.168.122.198:3306" user="root" password="123456"/>
        dataHost>
mycat:schema>

• F . 自定义分库规则

  • 分布式数据库系统中，分片规则用于定义数据与分片的路由关系，也就是 insert，delete，update，select 的基本 sql 操作中，如何将 sql 路由到对应的分片执行。
    Mycat 的总体路由图为:

屏幕快照 2017-04-06 13.55.24.png

屏幕快照 2017-04-06 13.56.24.png

屏幕快照 2017-04-06 13.56.29.png

- 官方案例分析：

屏幕快照 2017-04-06 13.57.36.png

屏幕快照 2017-04-06 13.57.41.png

屏幕快照 2017-04-06 13.57.45.png

屏幕快照 2017-04-06 13.57.50.png

屏幕快照 2017-04-06 13.57.54.png

屏幕快照 2017-04-06 13.58.00.png