Mycat中间件实现数据库集群

Mycat中间件实现数据库集群

一丶Mycat简介

​ Mycat 是基于 cobar 演变而来.一个新颖的数据库中间件产品支持mysql集群，或者mariadb cluster，提供高可用性数据分片集群。你可以像使用mysql一样使用mycat。对于开发人员来说根本感觉不到mycat的存在。

​ 图解:[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AIqrnCkx-1583637425199)(C:\Users\86132\AppData\Roaming\Typora\typora-user-images\image-20200304152251801.png)]

​ Mycat支持的数据库:mysql,oracle,sqlserver,PsotgreSQL,mongoDB…

二丶Mycat的下载和安装

• JDK：要求jdk必须是1.7及以上版本

• MySQL：推荐mysql是5.5以上版本

  • 将Mysql的服务端和客户端安装包(RPM)上传到服务器(可自行下载,此文是我做笔记,可联系我要资源,我无法上传)[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yh8feXR4-1583637425214)(C:\Users\86132\AppData\Roaming\Typora\typora-user-images\image-20200304152558889.png)]

  • 查询之前是否安装过Mysql(linux可能会有一个低版本的sql)

    rpm -qa|grep -i mysql
    

  • 卸载旧版本mysql:

    rpm -e -nodeps 软件名称
    

  • 安装服务端和客户端

    rpm -ivh MySQL-server-5.5.49-1.linux2.6.i386.rpm
    rpm -ivh MySQL-client-5.5.49-1.linux2.6.i386.rpm
    

  • 启动MySql服务:

    service mysql start
    

  • 登录mysql:

    mysql -u -root
    

  • 设置远程登录权限:

    GRANT ALL PRIVILEGES ON *.* TO 'root'@'%'IDENTIFIED BY '123456'  WITH GRANT OPTION;
    

  • 测试:在本机sqlyog或者NaviCat进行测试连接

• MyCat安装及启动:

  • MyCat的官方网站:http://www.mycat.org.cn/

  • 下载地址:https://github.com/MyCATApache/Mycat-download

  • 将Mycat-server-1.4-release-20151019230038-linux.tar.gz上传至服务器

  • 将压缩包解压缩。建议将mycat放到/usr/local/mycat目录下。

    tar -xzvf Mycat-server-1.4-release-20151019230038-linux.tar.gz
    mv mycat /usr/local
    

  • 进入mycat目录的bin目录，启动mycat

    ./mycat start
    

  • 停止MyCat:

    ./mycat stop
    

  • mycat 支持的命令{ console | start | stop | restart | status | dump }

  • Mycat的默认端口号为：8066

三丶MyCat分片-海量数据存储解决方案

• 分片简介:简单来说，就是指通过某种特定的条件，将我们存放在同一个数据库中的数据分散存放到多个数据库（主机）上面，以达到分散单台设备负载的效果。

• 数据的切分有两种模式

  • 1.按照不同的表或者Schema来切分到不同的数据库(主机)之上,称为垂直(纵向)切分

    图解:[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-avKKTyxx-1583637425218)(C:\Users\86132\AppData\Roaming\Typora\typora-user-images\image-20200304154110418.png)]

  • 2.根据表中的数据逻辑关系,将同一个表中的数据按照某种条件拆分到多台数据库上边.称为水平(横向)切分

    图解:[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-G40P6xk1-1583637425226)(C:\Users\86132\AppData\Roaming\Typora\typora-user-images\image-20200304154529630.png)]

• MyCat分片策略图解:[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-uYujDUDt-1583637425228)(C:\Users\86132\AppData\Roaming\Typora\typora-user-images\image-20200304154606303.png)]

• 分片相关概念:

• 逻辑库(schema):数据库中间件，通常对实际应用来说，并不需要知道中间件的存在，业务开发人员只需要知道数据库的概念，所以数据库中间件可以被看做是一个或多个数据库集群构成的逻辑库。

  • 逻辑表(table):既然有逻辑库，那么就会有逻辑表，分布式数据库中，对应用来说，读写数据的表就是逻辑表。逻辑表，可以是数据切分后，分布在一个或多个分片库中，也可以不做数据切分，不分片，只有一个表构成。

• 分片表：是指那些原有的很大数据的表，需要切分到多个数据库的表，这样，每个分片都有一部分数据，所有分片构成了完整的数据。 总而言之就是需要进行分片的表。

  • 非分片表：一个数据库中并不是所有的表都很大，某些表是可以不用进行切分的，非分片是相对分片表来说的，就是那些不需要进行数据切分的表。
  • 分片节点(dataNode):数据切分后，一个大表被分到不同的分片数据库上面，每个表分片所在的数据库就是分片节点（dataNode）。
  • 节点主机(dataHost):数据切分后，每个分片节点（dataNode）不一定都会独占一台机器，同一机器上面可以有多个分片数据库，这样一个或多个分片节点（dataNode）所在的机器就是节点主机（dataHost）,为了规避单节点主机并发数限制，尽量将读写压力高的分片节点（dataNode）均衡的放在不同的节点主机（dataHost）。
  • 分片规则(rule):前面讲了数据切分，一个大表被分成若干个分片表，就需要一定的规则，这样按照某种业务规则把数据分到某个分片的规则就是分片规则，数据切分选择合适的分片规则非常重要，将极大的避免后续数据处理的难度。

• MyCat分片配置:

  • 配置schema.xml:schema 标签用于定义MyCat实例中的逻辑库.Table 标签定义了MyCat中的逻辑表 rule用于指定分片规则，auto-sharding-long的分片规则是按ID值的范围进行分片 1-5000000 为第1片 5000001-10000000 为第2片… 具体设置我们会在第5小节中讲解。dataNode 标签定义了MyCat中的数据节点，也就是我们通常说所的数据分片。dataHost标签在mycat逻辑库中也是作为最底层的标签存在，直接定义了具体的数据库实例、读写分离配置和心跳语句。

  • 在服务器上创建3个数据库,分别是db1,db2,db3

  • 修改schema.xml如下:

    
    
    <mycat:schema xmlns:mycat="http://org.opencloudb/">
    	<schema name="PINYOUGOUDB" checkSQLschema="false" sqlMaxLimit="100">
    		<table name="tb_test" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" />
    	schema>
    	<dataNode name="dn1" dataHost="localhost1" database="db1" />
    	<dataNode name="dn2" dataHost="localhost1" database="db2" />
    	<dataNode name="dn3" dataHost="localhost1" database="db3" />
    	<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
    		writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
    		<heartbeat>select user()heartbeat>
    		<writeHost host="hostM1" url="192.168.25.142:3306" user="root"
    			password="123456">
    		writeHost>
    	dataHost>	
    mycat:schema>
    

  • 配置server.xml

    • server.xml几乎保存了所有mycat需要的系统配置信息。最常用的是在此配置用户名、密码及权限。在system中添加UTF-8字符集设置，否则存储中文会出现问号

      <property name="charset">utf8property>
      

    • 修改user的设置 , 我们这里为 (你的项目)设置两个用户

      	<user name="test">
      		<property name="password">testproperty>
      		<property name="schemas">你的项目名大写property>
      	user>
      	<user name="root">
      		<property name="password">123456property>
      		<property name="schemas">你的项目名大写property>
      	user>
      

• MyCat分片测试:

  • 进入mycat ，执行下列语句创建一个表:

    CREATE TABLE tb_test (
      id BIGINT(20) NOT NULL,
      title VARCHAR(100) NOT NULL ,
      PRIMARY KEY (id)
    ) ENGINE=INNODB DEFAULT CHARSET=utf8 
    

    创建后你会发现，MyCat会自动将你的表转换为大写，这一点与Oracle有些类似。与此同时,mysql的三个库都自动创建好了.

  • 插入数据:在MyCat插入数据时,要把字段列表写出来,否侧会出错.

    INSERT INTO TB_TEST(ID,TITLE) VALUES(1,'goods1');
    INSERT INTO TB_TEST(ID,TITLE) VALUES(2,'goods2');
    INSERT INTO TB_TEST(ID,TITLE) VALUES(3,'goods3');
    

  • 上班所有数据都进去了第一个节点,当我们执行下边语句,进入的是第二个节点:

    INSERT INTO TB_TEST(ID,TITLE) VALUES(5000001,'goods5000001');
    

    (说明:因为我们采用的分片规则是每节点存储500万条数据，所以当ID大于5000000则会存储到第二个节点上。)

四丶分片规则

​ rule.xml用于定义分片规则 ，我分析常用的两种分片规则

• 在主键范围分片rang-long:eg1-500w节点1,以此类推

  • 在配置文件中找到:

    <tableRule name="auto-sharding-long">
    		<rule>
    			<columns>idcolumns>
    			<algorithm>rang-longalgorithm>
    		rule>
    	tableRule>
    

  • ableRule 是定义具体某个表或某一类表的分片规则名称 columns用于定义分片的列 algorithm代表算法名称 我们接着找rang-long的定义:

    	<function name="rang-long"
    		class="org.opencloudb.route.function.AutoPartitionByLong">
    		<property name="mapFile">autopartition-long.txtproperty>
    	function>
    

  • Function用于定义算法 mapFile 用于定义算法需要的数据，我们打开autopartition-long.txt:

    # range start-end ,data node index
    # K=1000,M=10000.
    0-500M=0
    500M-1000M=1
    1000M-1500M=2
    

• 一致性哈希murmur:当我们需要将数据平均分在几个分区中，需要使用一致性hash规则,

  • 我们找到function的name为murmur 的定义，将count属性改为3，因为我要将数据分成3片

    	<function name="murmur"
    		class="org.opencloudb.route.function.PartitionByMurmurHash">
    		<property name="seed">0property>
    		<property name="count">3property>
    		<property name="virtualBucketTimes">160property>
    		
    		
    	function>
    

  • 我们再配置文件中可以找到表规则定义:

    	<tableRule name="sharding-by-murmur">
    		<rule>
    			<columns>idcolumns>
    			<algorithm>murmuralgorithm>
    		rule>
    	tableRule>
    

  • 但是这个规则指定的列是id ,如果我们的表主键不是id ,而是order_id ,那么我们应该重新定义一个tableRule：

    	<tableRule name="sharding-by-murmur-order">
    		<rule>
    			<columns>order_idcolumns>
    			<algorithm>murmuralgorithm>
    		rule>
    	tableRule>
    

  • 在schema.xml中配置逻辑表时，指定规则为sharding-by-murmur-order

    在schema.xml中配置逻辑表时，指定规则为sharding-by-murmur-order
    

五丶了解数据库读写分离

​ 数据库读写分离对于大型系统或者访问量很高的互联网应用来说，是必不可少的一个重要功能。对于MySQL来说，标准的读写分离是主从模式，一个写节点Master后面跟着多个读节点，读节点的数量取决于系统的压力，通常是1-3个读节点的配置

​ 图解:[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-P1CbZ9TQ-1583637425234)(C:\Users\86132\AppData\Roaming\Typora\typora-user-images\image-20200304161852877.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5p7E6yqF-1583637425238)(C:\Users\86132\AppData\Roaming\Typora\typora-user-images\image-20200304161858295.png)]

中配置逻辑表时，指定规则为sharding-by-murmur-order
~~~

五丶了解数据库读写分离

​ 数据库读写分离对于大型系统或者访问量很高的互联网应用来说，是必不可少的一个重要功能。对于MySQL来说，标准的读写分离是主从模式，一个写节点Master后面跟着多个读节点，读节点的数量取决于系统的压力，通常是1-3个读节点的配置

​ 图解:[外链图片转存中…(img-P1CbZ9TQ-1583637425234)]

[外链图片转存中…(img-5p7E6yqF-1583637425238)]

注意:Mycat读写分离和自动切换机制，需要mysql的主从复制机制配合。(我这里有配置文档,本人初学开发对linux运维就不多写了,可留言我发送给大家.)