MySQL 高可用:mysql+mycat实现数据库分片(分库分表)





转自:https://blog.csdn.net/kk185800961/article/details/51147029


什么是MYCAT:

一个彻底开源的,面向企业应用开发的大数据库集群

支持事务、ACID、可以替代MySQL的加强版数据库

一个可以视为MySQL集群的企业级数据库,用来替代昂贵的Oracle集群

一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server

结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品

一个新颖的数据库中间件产品


 Mycat关键特性 :

支持SQL92标准

遵守Mysql原生协议,跨语言,跨平台,跨数据库的通用中间件代理。

基于心跳的自动故障切换,支持读写分离,支持MySQL主从,以及galera cluster集群。

支持Galera for MySQL集群,Percona Cluster或者MariaDB cluster

基于Nio实现,有效管理线程,高并发问题。

支持数据的多片自动路由与聚合,支持sum,count,max等常用的聚合函数,支持跨库分页。

支持单库内部任意join,支持跨库2表join,甚至基于caltlet的多表join。

支持通过全局表,ER关系的分片策略,实现了高效的多表join查询。

支持多租户方案。

支持分布式事务(弱xa)。

支持全局序列号,解决分布式下的主键生成问题。

分片规则丰富,插件化开发,易于扩展。

强大的web,命令行监控。

支持前端作为mysq通用代理,后端JDBC方式支持Oracle、DB2、SQL Server 、 mongodb 、巨杉。

支持密码加密

支持服务降级

支持IP白名单

支持SQL黑名单、sql注入攻击拦截

支持分表(1.6)

集群基于ZooKeeper管理,在线升级,扩容,智能优化,大数据处理(2.0开发版)。


(官方说明参考:Mycat 数据库分库分表中间件 )


JDK 下载(建议要求jdk7及以上):

http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html

Linux x86 147.68 MB jdk-7u80-linux-i586.tar.gz


MyCAT 相关:

Mycat 捐赠地址:http://www.mycat.io/donate.html

Mycat 官斱网站:http://www.mycat.io/

Mycat 源码:https://github.com/MyCATApache/Mycat-Server

Mycat 下载地址:https://github.com/MyCATApache/Mycat-download



既然 mycat  那么强大,那就测试看看:

MySQL 高可用:mysql+mycat实现数据库分片(分库分表)_第1张图片

#测试环境:

# 有3张表 users,item,item_detail (item 的子表) 和 3 个数据库 db01,db02,db03

# 表 users 存储在数据库 db01, 表 item 和 item_detail 分布存储在数据 db01 和 db02 

# 现在在3个数据库都创建相同的表


      
      
      
      
  1. create database db01;
  2. create database db02;
  3. create database db03;
  4. CREATE TABLE users (
  5. id INT NOT NULL AUTO_INCREMENT,
  6. name varchar( 50) NOT NULL default '',
  7. indate DATETIME NOT NULL default '0000-00-00 00:00:00',
  8. PRIMARY KEY ( id)
  9. )AUTO_INCREMENT= 1 ENGINE= InnoDB DEFAULT CHARSET=utf8;
  10. CREATE TABLE item (
  11. id INT NOT NULL AUTO_INCREMENT,
  12. value INT NOT NULL default 0,
  13. indate DATETIME NOT NULL default '0000-00-00 00:00:00',
  14. PRIMARY KEY ( id)
  15. )AUTO_INCREMENT= 1 ENGINE= InnoDB DEFAULT CHARSET=utf8;
  16. CREATE TABLE item_detail (
  17. id INT NOT NULL AUTO_INCREMENT,
  18. value INT NOT NULL default 0,
  19. name varchar( 50) NOT NULL default '',
  20. item_id INT NOT NULL,
  21. PRIMARY KEY ( id),
  22. key (item_id)
  23. )AUTO_INCREMENT= 1 ENGINE= InnoDB DEFAULT CHARSET=utf8;


# JDK 安装配置


      
      
      
      
  1. cd /usr/ local/src
  2. tar xvf jdk- 7u8 0-linux-i586.tar.gz
  3. mkdir -p /usr/ local/java
  4. mv /usr/ local/src/jdk1. 7.0_80 /usr/ local/java/
  5. chown -R root:root /usr/ local/java
  6. cd /usr/ local/java/

#配置环境变量

      
      
      
      
  1. vi /etc/profile
  2. vi ~/.bash_profile
  3. export JAVA_HOME=/usr/ local/java/jdk1.7.0_80
  4. export PATH= $PATH:$JAVA_HOME/bin
  5. export CLASSPATH=.: $JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

#设置生效

      
      
      
      
  1. source /etc/profile
  2. source ~/.bash_profile

#测试是否安装成功

      
      
      
      
  1. [root@server1 ~]# java -version
  2. java version "1 .7 .0_80"
  3. Java( TM) SE Runtime Environment ( build 1 .7 .0_80-b15)
  4. Java HotSpot( TM) Client VM ( build 24 .80-b11, mixed mode)


# Mycat 安装配置


      
      
      
      
  1. cd /usr/ local/src
  2. tar xvf Mycat-server- 1.5. 1-RELEASE- 20160405120037-linux.tar.gz
  3. mv /usr/ local/src/mycat /usr/ local/
  4. groupadd mycat
  5. useradd -g mycat mycat
  6. passwd mycat
  7. chown -R mycat.mycat /usr/ local/mycat

#添加环境变量

      
      
      
      
  1. vi /etc/profile
  2. vi ~/.bash_profile
  3. export MYCAT_HOME=/usr/ local/mycat

#设置生效(最好重启系统)

      
      
      
      
  1. source /etc/profile
  2. source ~/.bash_profile

#服务器名和IP绑定
vi /etc/hosts 
192.168.100.50 server1
127.0.0.1 server1

# 设置 wrapper.java.command 的java 路径

 ( 同时可设置 -Xmx 和 -Xms ,参考: mycat 启动失败 The specified size exceeds the maximum representable size)


      
      
      
      
  1. vi /usr/ local/mycat/conf/wrapper.conf
  2. wrapper.java.command=%JAVA_HOME%/bin/java

#配置 server.xml 和 schema.xml  (本案例配置信息在文章底部)

      
      
      
      
  1. vi /usr/ local/mycat/conf/server.xml
  2. vi /usr/ local/mycat/conf/schema.xml

#启动mycat服务 ./mycat { console | start | stop | restart | status | dump }
/usr/local/mycat/bin/mycat console
      
      
      
      

      
      
      
      
  1. #mycat 进程
  2. ps -ef | grep mycat
  3. #日子信息
  4. tail - 20 /usr/ local/mycat/logs/wrapper.log


测试:

#访问 mycat   (凭据参考 /usr/local/mycat/conf/server.xml)

mysql -utest -ptest -h127.0.0.1 -P8066 -DTESTDB
      
      
      
      


      
      
      
      
  1. mysql> show databases;
  2. + ----------+
  3. | DATABASE |
  4. + ----------+
  5. | TESTDB |
  6. + ----------+
  7. mysql> show tables;
  8. + ------------------+
  9. | Tables in TESTDB |
  10. + ------------------+
  11. | item |
  12. | item_detail |
  13. | users |
  14. + ------------------+

#在 mycat 中插入数据并查询:

      
      
      
      
  1. insert into users( name,indate) values( 'kk', now());
  2. insert into item( id, value,indate) values( 1, 100, now());
  3. insert into item_detail( value, name,item_id) values( 'pad', 40, 1);
  4. insert into item_detail( value, name,item_id) values( 'phone', 50, 1);
  5. insert into item( id, value,indate) values( 999, 100, now());
  6. insert into item_detail( value, name,item_id) values( 'pad', 40, 999);
  7. insert into item_detail( value, name,item_id) values( 'phone', 50, 999);

      
      
      
      
  1. mysql> select * from users;
  2. + ----+------+---------------------+
  3. | id | name | indate |
  4. + ----+------+---------------------+
  5. | 1 | kk | 2016-04-13 06:28:00 |
  6. + ----+------+---------------------+
  7. mysql> select * from item;
  8. + -----+-------+---------------------+
  9. | id | value | indate |
  10. + -----+-------+---------------------+
  11. | 999 | 100 | 2016-04-13 06:34:12 |
  12. | 1 | 100 | 2016-04-13 06:32:58 |
  13. + -----+-------+---------------------+
  14. mysql> select * from item_detail;
  15. + ----+-------+------+---------+
  16. | id | value | name | item_id |
  17. + ----+-------+------+---------+
  18. | 1 | 0 | 40 | 999 |
  19. | 2 | 0 | 50 | 999 |
  20. | 1 | 0 | 40 | 1 |
  21. | 2 | 0 | 50 | 1 |
  22. + ----+-------+------+---------+


#打开另一个终端,使用mysql账号登陆访问查看表情况
mysql -uroot -ptest -p

#具体的表数据存储情况:

      
      
      
      
  1. -----------------------------------------
  2. mysql> select * from db01.users;
  3. + ----+------+---------------------+
  4. | id | name | indate |
  5. + ----+------+---------------------+
  6. | 1 | kk | 2016-04-13 06:28:00 |
  7. + ----+------+---------------------+
  8. mysql> select * from db02.users;
  9. mysql> select * from db03.users;
  10. -----------------------------------------
  11. mysql> select * from db01.item;
  12. mysql> select * from db02.item;
  13. + -----+-------+---------------------+
  14. | id | value | indate |
  15. + -----+-------+---------------------+
  16. | 999 | 100 | 2016-04-13 06:34:12 |
  17. + -----+-------+---------------------+
  18. mysql> select * from db03.item;
  19. + ----+-------+---------------------+
  20. | id | value | indate |
  21. + ----+-------+---------------------+
  22. | 1 | 100 | 2016-04-13 06:32:58 |
  23. + ----+-------+---------------------+
  24. -----------------------------------------
  25. mysql> select * from db01.item_detail;
  26. mysql> select * from db02.item_detail;
  27. + ----+-------+------+---------+
  28. | id | value | name | item_id |
  29. + ----+-------+------+---------+
  30. | 1 | 0 | 40 | 999 |
  31. | 2 | 0 | 50 | 999 |
  32. + ----+-------+------+---------+
  33. mysql> select * from db03.item_detail;
  34. + ----+-------+------+---------+
  35. | id | value | name | item_id |
  36. + ----+-------+------+---------+
  37. | 1 | 0 | 40 | 1 |
  38. | 2 | 0 | 50 | 1 |
  39. + ----+-------+------+---------+


测试完成!!~数据进行了分库分表!
————————————————————————————

————————————————————————————

# server.xml 和 schema.xml 配置情况


      
      
      
      
  1. # vi /usr/local/mycat/conf/server.xml
  2. xml version="1.0" encoding="UTF-8"?>
  3. <mycat:server xmlns:mycat="http://org.opencloudb/">
  4. <system>
  5. <property name="defaultSqlParser">druidparser property>
  6. <property name="mutiNodeLimitType">1 property>
  7. <property name="serverPort">8066 property>
  8. <property name="managerPort">9066 property>
  9. system>
  10. <user name="test">
  11. <property name="password">test property>
  12. <property name="schemas">TESTDB property>
  13. user>
  14. <user name="user">
  15. <property name="password">user property>
  16. <property name="schemas">TESTDB property>
  17. <property name="readOnly">true property>
  18. user>
  19. mycat:server>


      
      
      
      
  1. # vi /usr/local/mycat/conf/schema.xml
  2. xml version="1.0"?>
  3. <mycat:schema xmlns:mycat="http://org.opencloudb/">
  4. <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
  5. <table name="users" primaryKey="id" type="global" dataNode="node_db01" />
  6. <table name="item" primaryKey="id" dataNode="node_db02,node_db03" rule="mod-long">
  7. <childTable name="item_detail" primaryKey="id" joinKey="item_id" parentKey="id" />
  8. table>
  9. schema>
  10. <dataNode name="node_db01" dataHost="dataHost01" database="db01" />
  11. <dataNode name="node_db02" dataHost="dataHost01" database="db02" />
  12. <dataNode name="node_db03" dataHost="dataHost01" database="db03" />
  13. <dataHost name="dataHost01" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native">
  14. <heartbeat>select user() heartbeat>
  15. <writeHost host="server1" url="127.0.0.1:3306" user="root" password="mysql"/>
  16. dataHost>
  17. mycat:schema>


其他参考:

http://www.csdn.net/article/2015-07-16/2825228 (原理及应用)

http://www.songwie.com/articlelist/50(理论和实践 写的好)

http://ly.blog.itpub.net/29733787/viewspace-2049139/(示例)  MyCAT安装使用及简单测试 

http://www.cnblogs.com/ivictor/p/5111495.html(示例)  MyCAT简易入门

http://www.2cto.com/database/201503/385641.html(示例) Mycat水平分表,垂直分表实践(2)

http://www.51testing.com/html/34/369434-3686088.html(示例)使用Mycat 做简单的读写分离(一)




你可能感兴趣的:(mycat)