基于MyCat实现的Mysql数据库的读写分离

1、数据切分

1.1、原因

  在传统的业务场景中，数据量不大、并发量不高，所以单机的数据库服务基本上就可以满足了业务需要。而在互联网时代，数据爆发式增加，数据量和并发量都急剧增加，这对单机数据库就带来许多的挑战。为了解决单机数据库的瓶颈问题，我们就需要对数据库进行切分，把大库变成多个小库。

1.2、数据切换

  为了实现大库变成多个小库，就需要对数据库进行数据切分。数据切分，就是通过一些规则，将原来存储在单机数据库的数据，分散到多个数据库（一般都多主机）中，从而达到降低单台数据库负载的压力。数据切分，一般分为垂直切分和水平切分两种。

1.2.1、垂直切分

  垂直切分就是按照不同的表或者Schema切分到不同的数据库中。垂直切分的特点就是规则简单，易于实施，可以根据业务模块进行划分，各个业务之间耦合性低，相互影响也较小。

垂直切分的优点：

• 拆分后业务清晰，拆分规则明确；
• 系统之间容易扩展和整合；
• 数据维护简单

垂直切分的缺点：

• 跨库的数据没有办法进行关联查询，只能通过接口调用，提升了系统的复杂度；
• 跨库事务需要处理；
• 垂直切分后，大表仍然存在单体性能瓶颈；

1.2.2、水平切分

  水平切分，主要是将一个表中的数据，根据某种规则拆分到不同的数据库的表中，相比垂直切分，更为复杂。

水平切分的优点：

• 解决了单库大数据、高并发的性能瓶颈；
• 拆分规则封装好，对应用端几乎透明，开发人员无需关心拆分细节；
• 提高了系统的稳定性和负载能力；

水平切分的缺点：

• 拆分规则很难抽象；
• 跨库的数据没有办法进行关联查询
• 分片事务一致性难以解决；
• 二次扩展时，数据迁移、维护难度大。

2、读写分离

  大多数互联网业务，往往读多写少，这时候，数据库的读操作往往会首先称为数据库的瓶颈，这时，如果我们希望能够线性的提升数据库的读性能，消除读写锁冲突从而提升数据库的写性能，那么就可以使用读写分离的架构。

  读写分离一般都采用数据库的双机热备功能实现，即第一台数据库服务器，是对外提供增删改业务的服务；第二台数据库主要进行读的操作。·

  将大量的读操作从数据库中剥离，让读操作从专用的读数据库中读取数据，大大缓解了数据库的访问压力，也使得读取数据的响应速度得到了大大的提升。读写分离就是解决数据库性能瓶颈的“银弹”吗？如果主从数据库之间的同步出现延迟、甚至宕掉了该怎么办呢？这就是读写分离的弊端，当主从间的数据同步挂掉，或者同步延迟比较大时，写库和读库的数据不一致，对于实时要求比较高的系统，用户可能无法接受这个数据的不一致问题。

3、 MyCat概述

  MyCat 是什么？从定义和分类来看，它是一个开源的分布式数据库系统，前端的用户可以把它看成一个数据库代理，用MySql客户端和命令行工具都可以访问，而其后端则是用MySql原生的协议与多个MySql服务之间进行通信。MyCat的核心功能是分库分表，即将一个大表水平切分成N个小表，然后存放在后端的MySql数据当中。

  MyCat发展到目前的版本，已经不是一个单纯的MySql代理了，它的后端支持MySql，Oracle，SqlServer，DB2等主流的数据库，也支持MongoDB这种NoSql数据库。而对于前端的用户来说，无论后端采用哪一种数据库，在MyCat里都是一个传统的数据库，支持标准的SQL语句，对于前端的开发人员来说，可以大大地降低开发难度，提升开发速度。

• 对于DBA来说，可以这样理解MyCat：
  MyCat就是MySql，而MyCat后面连接的MySql，可以理解为MySql中的存储引擎，比如：MyISAM、InnoDB等。所以，MyCat本身不存储数据，数据都是存储在MyCat后面连接的MySql上，数据的可靠性和事务都是MySql保证的。
• 对于开发人员，可以这样理解MyCat：
  MyCat就是一个近似等于MySql的数据库库服务，你可以使用连接MySql的方式连接MyCat。绝大多数情况，你也可以使用常用的ORM框架连接MyCat，但是，对于分片的表，还是建议使用标准SQL语句，这样能够达到最佳的性能。
• 对于架构师来说，可以这样理解MyCat：
  MyCat是一个强大的数据库中间件，不仅仅可以用作读写分离、分库分表，还可以用于容灾备份，云平台建设等，让你的架构具备很强的适应性和灵活性。

上述内容来至于慕课网的Java架构师课程的教学笔记。

MyCat中的基本概念

• 逻辑库（Schema）
  数据库中间件可以被看做是一个或者多个数据库集群构成的逻辑库。对于开发人员不需要知道数据库中间件的存在，开发人员只需要有数据库的概念就可以了。
• 逻辑表（table）
  对于应用系统来说，读写数据的表，就是逻辑表。而逻辑表中的数据，则是被水平切分后，分布在不同的分片库中。对于开发人员来说，只需要操作逻辑表即可，后续的分片细节对开发人员来说是透明的。
• 分片表
  针对数据量非常大，需要我们进行数据水平切分的表，我们把它叫做分片表。没有切分的叫非分片表。
• 全局表
  在实际业务中，有大量的字典表存在，为了避免跨库查询，我们会把这些不需要分片的表，通过数据冗余的方式复制到所有的分片库中的表，叫做全局表。
• 分片节点（dataNode）
  数据被切分后，一张大表被分到不同的分片数据库上面，每个分片表所在的数据库就叫做分片节点。
• 节点主机（dataHost）
  数据切分后，每一个分片节点不一定都会占用一个真正的物理主机，会存在多个分片节点在同一个物理主机上的情况，这些分片节点所在的主机就叫做节点主机。为了避免单节点并发数的限制，尽量将读写压力高的分片节点放在不同的节点主机上。
• 分片规则（rule）
  一个大表被拆分成多个分片表，就需要一定的规则，按照某种业务逻辑，将数据分到一个确定的分片当中，这个规则就叫做分片规则。
• 全局序列号（sequence），即分布式全局ID
  在数据进行水平切分后，我们需要保证每个分片上的数据记录的ID都是唯一的，这个时候使用库表的自增规则肯定是无法满足要求的，这时，我们需要借助外部的机制保证数据的唯一标识，这种保证数据唯一标识的机制，我们叫做全局序列号。

4、基于MyCat实现读写分离

4.1、环境准备

  基于MyCat实现读写分离，需要准备MySQl的主从环境，具体搭建方式，请参考《MySql5.7 数据库安装及主从同步配置》。

4.2、下载MyCat

MyCat下载地址：http://dl.mycat.org.cn/1.6.7.4/Mycat-server-1.6.7.4-release/

或者通过wget命令下载：

wget http://dl.mycat.org.cn/1.6.7.4/Mycat-server-1.6.7.4-release/Mycat-server-1.6.7.4-release-20200105164103-linux.tar.gz

4.3、解压

tar -zxvf Mycat-server-1.6.7.4-release-20200105164103-linux.tar.gz

解压后的目录：

4.4、配置server.xml

  修改该文件，主要用来配置MyCat账号密码和数据库名。

<mycat:server xmlns:mycat="http://io.mycat/">
	<system>
		 
		<property name="nonePasswordLogin">0property>
		
	system>
	
	
	
	
	
	
	
	
	<firewall>
	   <whitehost>
	      <host host="1*7.0.0.*" user="root"/>
		  <host host="*" user="root" />
	   whitehost>
       <blacklist check="false">
       blacklist>
	firewall>
	
	<user name="root" defaultAccount="true">
		<property name="password">123456property>
		<property name="schemas">db_testproperty>
		<property name="defaultSchema">db_testproperty>
		
		
		
		
	user>
	
	<user name="user">
		<property name="password">123456property>
		<property name="schemas">db_testproperty>
		<property name="readOnly">trueproperty>
		<property name="defaultSchema">db_testproperty>
	user>
mycat:server>

4.5、配置schema.xml

  schema.xml文件主要是用来配置mycat逻辑库与真实的MySQL数据库的映射关系了。其中涉及到了一下几个元素：

• schema mycat逻辑库配置，与server.xml中的数据库对应，然后通过dataNode管理对应的写操作数据节点
• dataNode 数据节点，主要用来关联真实的数据节点dataHost的信息和对应的真实数据库名称。其中，name，用来设置节点名称，供schema 节点引用，dataHost表示真实数据库的配置信息，database真实的数据库名称。
• dataHost 真实数据库的配置信息节点，包括数据读写策略的一些配置。其中还包括了heartbeat心跳节点、writeHost 写库配置信息等。
• writeHost 写库配置信息。主要用来配置写库信息，dataHost 节点下可以有多个writeHost 写库配置。而writeHost 元素下又可以配置读库配置readHost 节点。
• readHost 读库配置信息节点。

  其中，dataHost 节点中有几个属性balance、writeType、switchType，他们的含义如下：

balance属性：

• balance=“0”, 不开启读写分离机制，所有读操作都发送到当前可用的writeHost 上。
• balance=“1”，全部的 readHost 与 stand by writeHost 参与 select 语句的负载均衡，简单的说，当双主双从模式(M1 ->S1 ， M2->S2，并且 M1 与 M2 互为主备)，正常情况下， M2,S1,S2 都参与 select 语句的负载均衡。
• balance=“2”，所有读操作都随机的在 writeHost、 readhost 上分发。
• balance=“3”， 所有读请求随机的分发到 wiriterHost 对应的 readhost 执行,writerHost 不负担读压力，注意 balance=3 只在 1.4 及其以后版本有， 1.3 没有。

writeType属性：

• writeType=“0”, 所有写操作发送到配置的第一个 writeHost，第一个挂了切到还生存的第二个writeHost，重新启动后已切换后的为准，切换记录在配置文件中:dnindex.properties .
• writeType=“1”，所有写操作都随机的发送到配置的 writeHost。
• writeType=“2”，没实现。

switchType属性：

switchType=“-1”， 表示不自动切换
switchType=“1”， 默认值，自动切换
switchType=“2”， 基于MySQL 主从同步的状态决定是否切换

  我们这里主要为了实现读写分离，所以最后的配置如下：

<mycat:schema xmlns:mycat="http://io.mycat/">
	
	<schema name="db_test" checkSQLschema="true" sqlMaxLimit="100" dataNode="dn1">schema>
	
	<dataNode name="dn1" dataHost="db_host" database="test" />
	
	<dataHost name="db_host" maxCon="1000" minCon="10" balance="3"
			  writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
		<heartbeat>select user()heartbeat>
		
		<writeHost host="hostM1" url="192.168.1.8:3306" user="root" password="123456">
				   
			 <readHost host="hostS2" url="192.168.1.9:3306" user="root" password="123456" />
		writeHost>
	dataHost>
mycat:schema>

4.6、启动Mycat

  在mycat的bin目录下，执行启动命令：

 ./mycat start

4.7、测试

  启动成功后，使用Navicat连接mycat，方式和连接MySQL一样，不过mycat的默认端口是8066。同时需要在server.xml配置上白名单，不然登录会被拒绝。

  分别使用root、user两个用户（前面在server.xml中配置的）建立连接，我们在主数据库192.168.1.8上，添加数据，这个时候两个连接看见的数据一样，如果我们在从数据库192.168.1.9上添加数据，这个时候就只有user用户的连接可以看到数据（主要为了验证读库操作，这里记得需要设置balance=“3”）。

5、总结

  在这一篇博文中，我们了解了mycat的一些基本知识和基于mycat实现的读写分离，初步了解了mycat的用法。后续在学习的过程中，我们会不断进行尝试和记录，分库分表等尝试将在后续进行。