wkwanglei

分布式mysql中间件（mycat）

1、 MyCAT概述

1.1 背景

随着传统的数据库技术日趋成熟、计算机网络技术的飞速发展和应用范围的扩充，数据库应用已经普遍建立于计算机网络之上。这时集中式数据库系统表现出它的不足：

（1）集中式处理，势必造成性能瓶颈；

（2）应用程序集中在一台计算机上运行，一旦该计算机发生故障，则整个系统受到影响，可靠性不高；

（3）集中式处理引起系统的规模和配置都不够灵活，系统的可扩充性差。

在这种形势下，集中式数据库将向分布式数据库发展。

1.2 发展历程

MyCAT的诞生，要从其前身Amoeba和Cobar说起。

Amoeba（变形虫）项目，该开源框架于2008年开始发布一款 Amoeba for Mysql软件。这个软件致力于MySQL的分布式数据库前端代理层，它主要在应用层访问MySQL的时候充当SQL路由功能，专注于分布式数据库代理层（Database Proxy）开发。座落与 Client、DB Server(s)之间，对客户端透明。具有负载均衡、高可用性、SQL过滤、读写分离、可路由相关的到目标数据库、可并发请求多台数据库合并结果。通过Amoeba你能够完成多数据源的高可用、负载均衡、数据切片的功能，目前Amoeba已在很多企业的生产线上面使用。

阿里巴巴于2012年6月19日，正式对外开源的数据库中间件Cobar，前身是早已经开源的Amoeba，不过其作者陈思儒离职去盛大之后，阿里巴巴内部考虑到Amoeba的稳定性、性能和功能支持，以及其他因素，重新设立了一个项目组并且更换名称为Cobar。Cobar 是由 Alibaba 开源的 MySQL 分布式处理中间件，它可以在分布式的环境下看上去像传统数据库一样提供海量数据服务。

Cobar自诞生之日起，就受到广大程序员的追捧，但是自2013年后，几乎没有后续更新。在此情况下，MyCAT应运而生，它基于阿里开源的Cobar产品而研发，Cobar的稳定性、可靠性、优秀的架构和性能，以及众多成熟的使用案例使得MyCAT一开始就拥有一个很好的起点，站在巨人的肩膀上，MyCAT能看到更远。目前MyCAT的最新发布版本为1.3.0.2版本。

1.3 介绍

1.3.1 MyCat的下载方式

可以通过git或官网下载，地址见首页。

1.3.2 什么是MyCat？

简单的说，MyCAT就是：

一个新颖的数据库中间件产品；
一个彻底开源的、面向企业应用开发的“大数据库集群”；
支持事务、ACID、可以替代MySQL的加强版数据库；
一个可以视为“MySQL”集群的企业级数据库，用来替代昂贵的Oracle集群；
一个融合内存缓存技术、Nosql技术、HDFS大数据的新型SQL Server；
结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品。

1.3.3 MyCat的目标

MyCAT的目标是：低成本的将现有的单机数据库和应用平滑迁移到“云”端，解决数据存储和业务规模迅速增长情况下的数据瓶颈问题。

1.3.4 MyCat的关键特性

·     支持 SQL 92标准
    支持Mysql集群，可以作为Proxy使用
    支持JDBC连接ORACLE、DB2、SQL Server，将其模拟为MySQL Server使用
    支持NoSQL数据库
    支持galera for mysql集群，percona-cluster或者mariadb cluster，提供高可用性数据分片集群
    自动故障切换，高可用性
    支持读写分离，支持Mysql双主多从，以及一主多从的模式
    支持全局表，数据自动分片到多个节点，用于高效表关联查询
    支持独有的基于E-R 关系的分片策略，实现了高效的表关联查询
    支持一致性Hash分片，有效解决分片扩容难题
    多平台支持，部署和实施简单
    支持Catelet开发，类似数据库存储过程，用于跨分片复杂SQL的人工智能编码实现，143行Demo完成跨分片的两个表的JION查询。
    支持NIO与AIO两种网络通信机制，Windows下建议AIO，Linux下目前建议NIO
    支持Mysql存储过程调用
    以插件方式支持SQL拦截和改写
    支持自增长主键、支持Oracle的Sequence机制

1.3.5 MyCat的优势

· 基于阿里开源的Cobar产品而研发，Cobar的稳定性、可靠性、优秀的架构和性能，以及众多成熟的使用案例使得MyCAT一开始就拥有一个很好的起点，站在巨人的肩膀上，能看到更远。

· 广泛吸取业界优秀的开源项目和创新思路，将其融入到MyCAT的基因中，使得MyCAT在很多方面都领先于目前其他一些同类的开源项目，甚至超越某些商业产品。

· MyCAT背后有一只强大的技术团队，其参与者都是5年以上资深软件工程师、架构师、DBA等，优秀的技术团队保证了MyCAT的产品质量。

· MyCAT并不依托于任何一个商业公司，因此不像某些开源项目，将一些重要的特性封闭在其商业产品中，使得开源项目成了一个摆设。

1.3.6 MyCat的长期路线

在支持Mysql的基础上，后端增加更多的开源数据库和商业数据库的支持，包括原生支持PosteSQL、FireBird等开源数据库，以及通过JDBC等方式间接支持其他非开源的数据库如Oracle、DB2、SQL Server等
实现更为智能的自我调节特性，如自动统计分析SQL，自动创建和调整索引，根据数据表的读写频率，自动优化缓存和备份策略等
实现更全面的监控管理功能
与HDFS集成，提供SQL命令，将数据库装入HDFS中并能够快速分析
集成优秀的开源报表工具，使之具备一定的数据分析的能力

1.4 总体架构

MyCAT的架构如下图所示：

MyCAT使用MySQL的通讯协议模拟成一个MySQL服务器，并建立了完整的Schema（数据库）、Table （数据表）、User（用户）的逻辑模型，并将这套逻辑模型映射到后端的存储节点DataNode（MySQL Instance）上的真实物理库中，这样一来，所有能使用MySQL的客户端以及编程语言都能将MyCAT当成是MySQLServer来使用，不必开发新的客户端协议。

当MyCAT收到一个客户端发送的SQL请求时，会先对SQL进行语法分析和检查，分析的结果用于SQL路由，SQL路由策略支持传统的基于表格的分片字段方式进行分片，也支持独有的基于数据库E-R关系的分片策略，对于路由到多个数据节点（DataNode）的SQL，则会对收到的数据集进行“归并”然后输出到客户端。

SQL执行的过程，简单的说，就是把SQL通过网络协议发送给后端的真正的数据库上进行执行，对于MySQL Server来说，是通过MySQL网络协议发送报文，并解析返回的结果，若SQL不涉及到多个分片节点，则直接返回结果，写入客户端的SOCKET流中，这个过程是非阻塞模式（NIO）。

DataNode是MyCAT的逻辑数据节点，映射到后端的某一个物理数据库的一个Database，为了做到系统高可用，每个DataNode可以配置多个引用地址（DataSource），当主DataSource被检测为不可用时，系统会自动切换到下一个可用的DataSource上，这里的DataSource即可认为是Mysql的主从服务器的地址。

1.5 逻辑库

与任何一个传统的关系型数据库一样，MyCAT也提供了“数据库”的定义，并有用户授权的功能，下面是MyCAT逻辑库相关的一些概念：

schema:逻辑库，与MySQL中的Database（数据库）对应，一个逻辑库中定义了所包括的Table。
table：表，即物理数据库中存储的某一张表，与传统数据库不同，这里的表格需要声明其所存储的逻辑数据节点DataNode，这是通过表格的分片规则定义来实现的，table可以定义其所属的“子表(childTable)”，子表的分片依赖于与“父表”的具体分片地址，简单的说，就是属于父表里某一条记录A的子表的所有记录都与A存储在同一个分片上。
分片规则：是一个字段与函数的捆绑定义，根据这个字段的取值来返回所在存储的分片（DataNode）的序号，每个表格可以定义一个分片规则，分片规则可以灵活扩展，默认提供了基于数字的分片规则，字符串的分片规则等。
dataNode: MyCAT的逻辑数据节点，是存放table的具体物理节点，也称之为分片节点，通过DataSource来关联到后端某个具体数据库上，一般来说，为了高可用性，每个DataNode都设置两个DataSource，一主一从，当主节点宕机，系统自动切换到从节点。
dataHost：定义某个物理库的访问地址，用于捆绑到dataNode上。

MyCAT目前通过配置文件的方式来定义逻辑库和相关配置：

· MYCAT_HOME/conf/schema.xml中定义逻辑库，表、分片节点等内容；

· MYCAT_HOME/conf/rule.xml中定义分片规则；

· MYCAT_HOME/conf/server.xml中定义用户以及系统相关变量，如端口等。下图给出了MyCAT 一个可能的逻辑库到物理库（MySQL的完整映射关系），可以看出其强大的分片能力以及灵活的Mysql集群整合能力。

2、基本使用教程

2.1 下载和安装

MyCAT使用Java开发，因为用到了JDK 7的部分功能，所以在使用前请确保安装了JDK 7.0，并设置了正确的Java环境变量（可在命令行窗口输入：“java –version”获知是否安装成功，以及获取JDK的版本）。

安装完成后，需要添加MYCAT_HOME环境变量，值对应MyCAT安装的根目录。

目录说明见下表所示：

--bin  启动目录

--conf 配置文件存放配置文件：

--server.xml：是Mycat服务器参数调整和用户授权的配置文件。

--schema.xml：是逻辑库定义和表以及分片定义的配置文件。

--rule.xml：  是分片规则的配置文件，分片规则的具体一些参数信息单独存放为文件，也在这个目录下，配置文件修改需要重启MyCAT。

--log4j.xml： 日志存放在logs/log中，每天一个文件，日志的配置是在conf/log4j.xml中，根据自己的需要可以调整输出级别为debug

	debug级别下，会输出更多的信息，方便排查问题。

--autopartition-long.txt,partition-hash-int.txt,sequence_conf.properties，

	 sequence_db_conf.properties 分片相关的id分片规则配置文件

--lib	    MyCAT自身的jar包或依赖的jar包的存放目录。

--logs        MyCAT日志的存放目录。日志存放在logs/log中，每天一个文件

2.2 启动和停止

启动前，一般需要修改JVM配置参数，打开conf/wrapper.conf文件，如下行的内容为2G和2048，可根据本机配置情况修改为512M或其它值。

wrapper.java.additional. 5 =- XX:MaxDirectMemorySize = 512M
wrapper.java.additional. 6 =- Dcom.sun.management.jmxremote
wrapper.java.additional. 7 =- Dcom.sun.management.jmxremote.port = 1984
wrapper.java.additional. 8 =- Dcom.sun.management.jmxremote.authenticate = false
wrapper.java.additional. 9 =- Dcom.sun.management.jmxremote.ssl = false

# Initial Java Heap Size (in MB)
#wrapper.java.initmemory = 3
wrapper.java.initmemory = 512

# Maximum Java Heap Size (in MB)
#wrapper.java.maxmemory = 64
wrapper.java.maxmemory = 512

在命令行窗口中进入MyCAT安装解压文件下的bin目录，输入如下命令可安装（可选）、启动和停止MyCAT，参考结果如下所示：

./mycat start 启动

./mycat stop 停止

./mycat console 前台运行

./mycat install 添加到系统自动启动（暂未实现）

./mycat remove 取消随系统自动启动（暂未实现）

./mycat restart 重启服务

./mycat pause 暂停

./mycat status 查看启动状态

win下：直接运行startup_nowrap.bat，如果出现闪退，在cmd 命令行运行，查看出错原因。

2.3 简单使用教程

2.3.1 安装MySQL以及客户端

安装MySQL服务器和MySQL客户端，笔者使用的MySQL服务器是免安装版本：mysql-noinstall-5.1.73-winx64，MySQL客户端是：Navicat for MySQL，免安装版本安装方法请参考：http://blog.csdn.net/q98842674/article/details/12094777，不再赘述。

2.3.2 创建数据库和表

创建user、和pay 两个个数据库，并分别建立表结构。

2.3.3 垂直切分

2.3.3.1 垂直切分定义

数据的垂直切分，也可以称为纵向切分。将数据库想象成由很多个一大块一大块的“数据块”（表）组成，垂直地将这些“数据块”切开，然后把它们分散到多台数据库主机上面。这样的切分方法就是垂直（纵向）的数据切分。

一个架构设计较好的应用系统，其总体功能肯定是由很多个功能模块所组成的，而每一个功能模块所需要的数据对应到数据库中就是一个或多个表。而在架构设计中，各个功能模块相互之间的交互点越统一、越少，系统的耦合度就越低，系统各个模块的维护性及扩展性也就越好。这样的系统，实现数据的垂直切分也就越容易。

2.3.3.2 优缺点

垂直切分优点：

（1）数据库的拆分简单明了，拆分规则明确；

（2）应用程序模块清晰明确，整合容易；

（3）数据维护方便易行，容易定位。

垂直切分缺点：

（1）部分表关联无法在数据库级别完成，要在程序中完成；

（2）对于访问极其频繁且数据量超大的表仍然存在性能瓶颈，不一定能满足要求；

（3）事务处理相对复杂；

（4）切分达到一定程度之后，扩展性会受到限制；

（5）过度切分可能会带来系统过于复杂而难以维护。

2.3.3.3 垂直切分实现

在如下的实例中，需要将

编辑MYCAT_HOME/conf/schema.xml文件，修改dataHost和schema对应的连接信息，user,pay 垂直切分后的配置如下所示：

select 1

注意：writeHost/readHost中的location,user,password的值需要根据实际的MySQL的连接信息进行修改。

查看conf/server.xml文件，该文件是Mycat服务器参数调整和用户授权的配置文件，默认的MyCat的数据库连接的用户名/密码为mycat/mycat，文件内容参考如下：

druidparser

mycat

user,pay

上述文件中的schemas属性需要配置对应的schema（在schema.xml）中进行配置。

重启MyCAT，使用MySQL客户端连接MyCAT，需要注意的是，默认数据端口为8066，管理端口为9066，在MySQL客户端连接MyCAT时，注意填写端口为8066，用户名/密码根据server.xml中的配置进行填写。

连接后可查看后端连接的三个数据库，如下图所示：

2.3.4 水平分库

2.3.4.1 水平切分定义

水平切分所指的是通过一系列的切分规则将数据水平分布到不同的DB或table中，在通过相应的DB路由或者table路由规则找到需要查询的具体的DB或者table以进行Query操作，比如根据用户ID将用户表切分到多台数据库上。

将某个访问极其频繁的表再按照某个字段的某种规则来分散到多个表之中，每个表中包含一部分数据。

例如，所有数据都是和用户关联的，那么我们就可以根据用户来进行水平拆分，将不同用户的数据切分到不同的数据库中。

现在互联网非常火爆的web 2.0类型的网站，基本上大部分数据都能够通过会员用户信息关联上，可能很多核心表都非常适合通过会员ID来进行数据的水平切分。而像论坛社区讨论系统，就更容易切分了，非常容易按照论坛编号来进行数据的水平切分。切分之后基本上不会出现各个库之间的交互。

2.3.4.2 优缺点

水平切分的优点：

    表关联基本能够在数据库端全部完成；
    不会存在某些超大型数据量和高负载的表遇到瓶颈的问题；
    应用程序端整体架构改动相对较少；
    事务处理相对简单；
    只要切分规则能够定义好，基本上较难遇到扩展性限制。
水平切分的缺点：
    切分规则相对更为复杂，很难抽象出一个能够满足整个数据库的切分规则；
    后期数据的维护难度有所增加，人为手工定位数据更困难；
应用系统各模块耦合度较高，可能会对后面数据的迁移拆分造成一定的困难。

2.3.4.3 水平切分实现

在一般的应用系统中，用户表及其密切相关的关联表，可根据“用户表”（eg：t_user）中的“用户ID”（user_id）进行水平切分，并基于MyCAT的E-R关系分片策略将其密切相关的表（eg：t_user_class_rel）也分到对应的库中。

（1）创建库，表结构

在建表语句参考如下：

CREATE DATABASE IF NOT EXISTS `mycat_node1` ;

/**
user 用户表
*/
DROP TABLE IF EXISTS `t_user`;
CREATE TABLE `t_user` (
`user_id` int(11) NOT NULL COMMENT '用户ID',
`receive_address` varchar(256) COLLATE utf8_unicode_ci DEFAULT NULL COMMENT '收货地址',
`create_time` datetime NOT NULL,
`province_code` varchar(10) COLLATE utf8_unicode_ci DEFAULT NULL,
PRIMARY KEY (`user_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci COMMENT='用户信息表';

/**
`t_area` 全局表
*/
CREATE TABLE `t_area` (
`id` int(11) NOT NULL AUTO_INCREMENT COMMENT 'id',
`caller` varchar(16) CHARACTER SET utf8 DEFAULT NULL COMMENT '调用方系统表示',
`province_code` varchar(10) CHARACTER SET utf8 NOT NULL COMMENT '省份编码',
`area_code` varchar(10) CHARACTER SET utf8 NOT NULL COMMENT '区域编码',
`area_name` varchar(100) CHARACTER SET utf8 DEFAULT NULL COMMENT '区域名称',
`parent_area_code` varchar(10) COLLATE utf8_unicode_ci DEFAULT NULL COMMENT '父区域编码',
`create_time` datetime NOT NULL COMMENT '创建时间',
`modify_time` datetime DEFAULT NULL COMMENT '修改时间',
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=3792 DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci;

/**
user 节点测试表
*/
DROP TABLE IF EXISTS `t_node`;
CREATE TABLE `t_node` (
`vid` int(11) NOT NULL COMMENT 'ID',
`user_id` int(11) NOT NULL COMMENT '用户ID',
`note` varchar(256) COLLATE utf8_unicode_ci DEFAULT NULL COMMENT 'note',
`create_time` datetime NOT NULL,
PRIMARY KEY (`vid`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci COMMENT='note表';

（2）配置schema.xml文件

首先配置schema.xml文件，添加mycat_node1数据库的dataNode设置，并添加t_user和t_area表的schema设置，本次配置了双主，读写分离配置，

同一个表多个分片的配置可以用dataNode="dn$1-100" 通配方式。

修改后的schema.xml文件内容如下所示：

        
select 1    select 1     
  
 
  
 
  
 
  
 
   
  
 
  （3）配置rule.xml文件 
  在schema.xml的文件内容中可看到t_user表指定的分片规则是rule1，需要在conf/rule.xml文件中设置rule1的规则为根据user_id进行分片，并按照类“org.opencloudb.route.function.PartitionByLong”的规则进行分片。 
           该文件的参考内容如下所示： 
   
    
    
   xml version="1.0" encoding="UTF-8" 
   ?> 
   
 
    
    
   DOCTYPE mycat:rule SYSTEM "rule.dtd" 
   > 
   
 
    
   < 
   mycat:rule  
   xmlns:mycat 
   ="http://org.opencloudb/" 
   >  
   
 
     
   < 
   tableRule  
   name 
   ="rule1" 
   > 
   
 
        
   < 
   rule 
   > 
   
 
          
   < 
   columns 
   >user_id 
    
   columns 
   > 
   
 
          
   < 
   algorithm 
   >func1 
    
   algorithm 
   > 
   
 
        
    
   rule 
   > 
   
 
     
    
   tableRule 
   > 
   
 
    
   
 
     
   < 
   function  
   name 
   ="func1" 
    class 
   ="org.opencloudb.route.function.PartitionByLong" 
   > 
   
 
        
   < 
   property  
   name 
   ="partitionCount" 
   >2 
    
   property 
   > 
   
 
        
   < 
   property  
   name 
   ="partitionLength" 
   >512 
    
   property 
   > 
   
 
     
    
   function 
   > 
   
 
    
    
   mycat:rule 
   > 
   
 
   
    
  （4）配置server.xml文件 
           在server.xml文件中的schemas属性中添加test_mycat的schema。修改后的文件如下所示： 
   
    
    
   DOCTYPE mycat:server SYSTEM "server.dtd" 
   > 
   
 
   < 
   mycat:server  
   xmlns:mycat 
   ="http://org.opencloudb/" 
   > 
   
     
   < 
   system 
   > 
   
         
   < 
   property  
   name 
   ="sequnceHandlerType" 
   > 
   0 
    
   property 
   > 
    
     
    
   system 
   > 
   
     
   < 
   user  
   name 
   ="mycat" 
   > 
   
        
   < 
   property  
   name 
   ="password" 
   > 
   mycat 
    
   property 
   > 
   
        
   < 
   property  
   name 
   ="schemas" 
   >mycat 
    
   property 
   > 
   
 
        
    
   user 
   > 
   
 
    
   mycat:server 
   > 
   
  
 
  （5）水平切分测试 
           重启MyCAT，使用MySQL客户端连接后，连接后可在mycat数据库下看到t_user和t_area,t_node表，如下图所示： 
           在MySQL客户端连接的MyCat的test_mycat数据库的t_user表运行如下插入语句，插入2000条数据： 
   
    
   INSERT INTO `t_user` VALUES ('1', '广州市越秀区广州大道中599号', '2014-07-17 10:53:15', 'GD');
INSERT INTO `t_user` VALUES ('2', '广州市越秀区广州大道中599号', '2014-07-17 10:53:17', 'GD');
INSERT INTO `t_user` VALUES ('3', '广州市越秀区广州大道中599号', '2014-07-17 10:53:17', 'GD');
INSERT INTO `t_user` VALUES ('4', '广州市越秀区广州大道中599号', '2014-07-17 10:53:17', 'GD');
INSERT INTO `t_user` VALUES ('5', '广州市越秀区广州大道中599号', '2014-07-17 10:53:17', 'GD');
……
INSERT INTO `t_user` VALUES (2000, '广州市越秀区广州大道中599号', '2014-07-17 10:54:37', 'GD'); 
   
  2.3.5 读写分离 
  2.3.5.1 读写分离定义 
  为了确保数据库产品的稳定性，很多数据库拥有双机热备功能。也就是，第一台数据库服务器，是对外提供增删改查业务的生产服务器；第二台数据库服务器，仅仅接收来自第一台服务器的备份数据。一般来说，为了配置方便，以及稳定性，这两台数据库服务器，都用的是相同的配置。 
  在实际运行中，第一台数据库服务器的压力，远远大于第二台数据库服务器。因此，很多人希望合理利用第二台数据库服务器的空闲资源。 
  从数据库的基本业务来看，数据库的操作无非就是增删改查这4个操作。但对于“增删改”这三个操作，如果是双机热备的环境中做，一台机器做了这三个操作的某一个之后，需要立即将这个操作，同步到另一台服务器上。出于这个原因，第二台备用的服务器，就只做了查询操作。进一步，为了降低第一台服务器的压力，干脆就把查询操作全部丢给第二台数据库服务器去做，第一台数据库服务器就只做增删改了。 
  2.3.5.2 优缺点 
  优点：合理利用从数据库服务器的空闲资源。 
  缺点：本来第二台数据库服务器，是用来做热备的，它就应该在一个压力非常小的环境下，保证运行的稳定性。而读写分离，却增加了它的压力，也就增加了不稳定性。因此，读写分离，实质上是一个在资金比较缺乏，但又需要保证数据安全的需求下，在双机热备方案上，做出的一种折中的扩展方案。 
  2.3.5.3 读写分离实现 
  MyCAT的读写分离机制如下： 
   
   事务内的SQL，全部走写节点，除非某个select语句以注释/*balance*/开头 
   自动提交的select语句会走读节点，并在所有可用读节点中间随机负载均衡 
   当某个主节点宕机，则其全部读节点都不再被使用，因为此时，同步失败，数据已经不是最新的，MyCAT会采用另外一个主节点所对应的全部读节点来实现select负载均衡。 
   当所有主节点都失败，则为了系统高可用性，自动提交的所有select语句仍将提交到全部存活的读节点上执行，此时系统的很多页面还是能出来数据，只是用户修改或提交会失败。 
   
  例如将本机作为写库，10.18.96.133作为读库，MyCAT的读写分离的配置如下： 
   
    
   < 
   dataHost  
   name 
   ="testhost" 
    maxCon 
   ="1000" 
    minCon 
   ="10" 
    balance 
   ="1" 
   
       writeType 
   ="0" 
    dbType 
   ="mysql" 
    dbDriver 
   ="native" 
   > 
   
        
   < 
   heartbeat 
   > 
   select user() 
    
   heartbeat 
   > 
   
        
    
   
        
   < 
   writeHost  
   host 
   ="hostM1" 
    url 
   ="localhost:3306" 
    user 
   ="root" 
    password 
   ="" 
   > 
   
            
   < 
   readHost  
   host 
   ="hostM2" 
    url 
   ="10.18.96.133:3306" 
    user 
   ="test" 
    password 
   ="test" 
     
   /> 
   
        
    
   writeHost 
   > 
   
 
    
   dataHost 
   > 
   
  dataHost的balance属性设置为： 
   
   0，不开启读写分离机制 
   1，全部的readHost与stand by writeHost参与select语句的负载均衡，简单的说，当双主双从模式(M1->S1，M2->S2，并且M1与 M2互为主备)，正常情况下，M2,S1,S2都参与select语句的负载均衡。 
   2，所有的readHost与writeHost都参与select语句的负载均衡，也就是说，当系统的写操作压力不大的情况下，所有主机都可以承担负载均衡。 
   
  一个dataHost元素，表明进行了数据同步的一组数据库，DBA需要保证这一组数据库服务器是进行了数据同步复制的。writeHost相当于Master DB Server，而其下的readHost则是与从数据库同步的Slave DB Server。当dataHost配置了多个writeHost的时候，任何一个writeHost宕机，Mycat 都会自动检测出来，并尝试切换到下一个可用的writeHost。 
  在没有配置数据同步复制的情况下，重启后进行测试，可使用MySQL客户端直接连接读库，插入几条数据后，使用MySQL客户端连接MyCat，运行select语句验证是否在读库上执行。 
  多主，多读写分离参考： 
  其中分为dn1，dn2两个分片，每个分片有两个写入，写入之间开启mysql开启2进制复制，mycat会从当前可用的写入host随机获取一个写入，mycat在任何时候   只会单点写入。如果要开启读写分离在放开注释read配置，balance=1或2。 
  writeType=1 代表所有节点都是写入写入，慎重开启，多节点写入顺序为默认写入根据配置顺序，第一个挂掉切换另一个。 
  
 
  
 
  2.3.6 全局表 
  2.3.6.1 全局表定义 
  一个真实的业务系统中，往往存在大量的类似字典表的表格，它们与业务表之间可能有关系，这种关系，可以理解为“标签”，而不应理解为通常的“主从关系”，这些表基本上很少变动，可以根据主键ID进行缓存，下面这张图说明了一个典型的“标签关系”图： 
           在分片的情况下，当业务表因为规模而进行分片以后，业务表与这些附属的字典表之间的关联，就成了比较棘手的问题，考虑到字典表具有以下几个特性： 
   
   变动不频繁； 
   数据量总体变化不大； 
   数据规模不大，很少有超过数十万条记录。 
   
  鉴于此，MyCAT定义了一种特殊的表，称之为“全局表”，全局表具有以下特性： 
   
   全局表的插入、更新操作会实时在所有节点上执行，保持各个分片的数据一致性 
   全局表的查询操作，只从一个节点获取 
   全局表可以跟任何一个表进行JOIN操作 
   
  将字典表或者符合字典表特性的一些表定义为全局表，则从另外一个方面，很好的解决了数据JOIN的难题。通过全局表+基于E-R关系的分片策略，MyCAT可以满足80%以上的企业应用开发。 
  2.3.6.2 全局表实现 
  （1）创建表结构 
           在各个库分别创建全局表（例如：t_area）的表结构，表结构保持一致，例如： 
   
    
   DROP 
     
   TABLE 
     
   IF 
     
   EXISTS 
    `t_area`;
 
   CREATE 
     
   TABLE 
    `t_area` (
 `id`  
   int 
   ( 
   11 
   )  
   NOT 
     
   NULL 
    AUTO_INCREMENT COMMENT  
   ' 
   id 
   ' 
   ,
 `caller`  
   varchar 
   ( 
   16 
   )  
   CHARACTER 
     
   SET 
    utf8  
   DEFAULT 
     
   NULL 
    COMMENT  
   ' 
   调用方系统表示 
   ' 
   ,
 `province_code`  
   varchar 
   ( 
   10 
   )  
   CHARACTER 
     
   SET 
    utf8  
   NOT 
     
   NULL 
    COMMENT  
   ' 
   省份编码 
   ' 
   ,
 `area_code`  
   varchar 
   ( 
   10 
   )  
   CHARACTER 
     
   SET 
    utf8  
   NOT 
     
   NULL 
    COMMENT  
   ' 
   区域编码 
   ' 
   ,
 `area_name`  
   varchar 
   ( 
   100 
   )  
   CHARACTER 
     
   SET 
    utf8  
   DEFAULT 
     
   NULL 
    COMMENT  
   ' 
   区域名称 
   ' 
   ,
 `parent_area_code`  
   varchar 
   ( 
   10 
   ) COLLATE utf8_unicode_ci  
   DEFAULT 
     
   NULL 
    COMMENT  
   ' 
   父区域编码 
   ' 
   ,
 `create_time`  
   datetime 
     
   NOT 
     
   NULL 
    COMMENT  
   ' 
   创建时间 
   ' 
   ,
 `modify_time`  
   datetime 
     
   DEFAULT 
     
   NULL 
    COMMENT  
   ' 
   修改时间 
   ' 
   ,
  
   PRIMARY 
     
   KEY 
    (`id`)
) ENGINE 
   = 
   InnoDB AUTO_INCREMENT 
   = 
   3792 
     
   DEFAULT 
    CHARSET 
   = 
   utf8 COLLATE 
   = 
   utf8_unicode_ci; 
   
    
  （2）配置schema.xml 
  全局表配置比较简单，不用写Rule规则，在schema.xml中修改test_schema，添加t_area的table子元素，参考如下配置即可： 
   
    
   < 
   schema  
   name 
   ="test_mycat" 
    checkSQLschema 
   ="false" 
    sqlMaxLimit 
   ="100" 
   > 
   
        
    
   
        
   < 
   table  
   name 
   ="t_user" 
    dataNode 
   ="dn1,dn2" 
    rule 
   ="rule1" 
   > 
   
            
   < 
   childTable  
   name 
   ="t_user_class_rel" 
    primaryKey 
   ="id" 
    joinKey 
   ="user_id" 
    parentKey 
   ="user_id" 
     
   /> 
   
        
    
   table 
   > 
   
        
   < 
   table  
   name 
   ="t_area" 
    primaryKey 
   ="id" 
    type 
   ="global" 
    dataNode 
   ="dn1,dn2" 
     
   /> 
   
 
    
   schema 
   > 
   
  
 
  （3）全局表测试 
           运行如下insert语句，往test_mycat的t_area表插入10条数据，如下所示： 
   
    
   INSERT 
     
   INTO 
    `t_area`  
   VALUES 
    ( 
   ' 
   100 
   ' 
   ,  
   ' 
   test 
   ' 
   ,  
   ' 
   ZX 
   ' 
   ,  
   ' 
   1 
   ' 
   ,  
   ' 
   全国 
   ' 
   ,  
   ' 
   0 
   ' 
   ,  
   ' 
   2012-09-25 08:30:23 
   ' 
   ,  
   null 
   );
 
   INSERT 
     
   INTO 
    `t_area`  
   VALUES 
    ( 
   ' 
   101 
   ' 
   ,  
   ' 
   test 
   ' 
   ,  
   ' 
   BJ 
   ' 
   ,  
   ' 
   110000 
   ' 
   ,  
   ' 
   北京市 
   ' 
   ,  
   ' 
   1 
   ' 
   ,  
   ' 
   2012-09-25 08:30:23 
   ' 
   ,  
   null 
   );
 
   INSERT 
     
   INTO 
    `t_area`  
   VALUES 
    ( 
   ' 
   102 
   ' 
   ,  
   ' 
   test 
   ' 
   ,  
   ' 
   BJ 
   ' 
   ,  
   ' 
   110100 
   ' 
   ,  
   ' 
   市辖区 
   ' 
   ,  
   ' 
   110000 
   ' 
   ,  
   ' 
   2012-09-25 08:30:23 
   ' 
   ,  
   null 
   );
 
   INSERT 
     
   INTO 
    `t_area`  
   VALUES 
    ( 
   ' 
   103 
   ' 
   ,  
   ' 
   test 
   ' 
   ,  
   ' 
   BJ 
   ' 
   ,  
   ' 
   110101 
   ' 
   ,  
   ' 
   东城区 
   ' 
   ,  
   ' 
   110100 
   ' 
   ,  
   ' 
   2012-09-25 08:30:23 
   ' 
   ,  
   null 
   );
 
   INSERT 
     
   INTO 
    `t_area`  
   VALUES 
    ( 
   ' 
   104 
   ' 
   ,  
   ' 
   test 
   ' 
   ,  
   ' 
   BJ 
   ' 
   ,  
   ' 
   110102 
   ' 
   ,  
   ' 
   西城区 
   ' 
   ,  
   ' 
   110100 
   ' 
   ,  
   ' 
   2012-09-25 08:30:23 
   ' 
   ,  
   null 
   );
 
   INSERT 
     
   INTO 
    `t_area`  
   VALUES 
    ( 
   ' 
   105 
   ' 
   ,  
   ' 
   test 
   ' 
   ,  
   ' 
   BJ 
   ' 
   ,  
   ' 
   110103 
   ' 
   ,  
   ' 
   崇文区 
   ' 
   ,  
   ' 
   110100 
   ' 
   ,  
   ' 
   2012-09-25 08:30:23 
   ' 
   ,  
   null 
   );
 
   INSERT 
     
   INTO 
    `t_area`  
   VALUES 
    ( 
   ' 
   106 
   ' 
   ,  
   ' 
   test 
   ' 
   ,  
   ' 
   BJ 
   ' 
   ,  
   ' 
   110104 
   ' 
   ,  
   ' 
   宣武区 
   ' 
   ,  
   ' 
   110100 
   ' 
   ,  
   ' 
   2012-09-25 08:30:23 
   ' 
   ,  
   null 
   );
 
   INSERT 
     
   INTO 
    `t_area`  
   VALUES 
    ( 
   ' 
   107 
   ' 
   ,  
   ' 
   test 
   ' 
   ,  
   ' 
   BJ 
   ' 
   ,  
   ' 
   110105 
   ' 
   ,  
   ' 
   朝阳区 
   ' 
   ,  
   ' 
   110100 
   ' 
   ,  
   ' 
   2012-09-25 08:30:23 
   ' 
   ,  
   null 
   );
 
   INSERT 
     
   INTO 
    `t_area`  
   VALUES 
    ( 
   ' 
   108 
   ' 
   ,  
   ' 
   test 
   ' 
   ,  
   ' 
   BJ 
   ' 
   ,  
   ' 
   110106 
   ' 
   ,  
   ' 
   丰台区 
   ' 
   ,  
   ' 
   110100 
   ' 
   ,  
   ' 
   2012-09-25 08:30:23 
   ' 
   ,  
   null 
   );
 
   INSERT 
     
   INTO 
    `t_area`  
   VALUES 
    ( 
   ' 
   109 
   ' 
   ,  
   ' 
   test 
   ' 
   ,  
   ' 
   BJ 
   ' 
   ,  
   ' 
   110107 
   ' 
   ,  
   ' 
   石景山区 
   ' 
   ,  
   ' 
   110100 
   ' 
   ,  
   ' 
   2012-09-25 08:30:23 
   ' 
   ,  
   null 
   ); 
   
  插入后去dn1,dn2分片中查找，可看到这2个分片中的t_area表都被插入10条数据。执行select语句能返回t_area表的对应记录，执行update和delete语句能对应对全局表相关的分片中的记录进行更新和删除操作。 
  3、   参考文档 
  《MyCat inAction中文版》 
  
 
   
  
 
   
   
  4、   地址 
  主站：Mycat-server@github :  
    
  https://github.com/MyCATApache/Mycat-Server.git 
  
 
  Mycat-web@github              :   
  https://github.com/MyCATApache/Mycat-Web.git 
  
 
  Mycat-doc@github               : 
     
  https://github.com/MyCATApache/Mycat-doc.git 
  
 
  Mycat-download@github     : 
    
    
  https://github.com/MyCATApache/Mycat-download.git  
  qq官方群：106088787 
  

                            
                        
                    
                    
                    
                    
                    
                    
                
                
                    
                        
                        
                             
                        
                        
                        
                            
                        
                        
                        
                            
                        
                    
                
            
        
    
    
        你可能感兴趣的:(分布式mysql中间件（mycat）)
        
            
                
                    mysql禁用远程登录
                        igotyback
mysql
                        去mysql库中的user表里，将host都改成localhost之后刷新权限FLUSHPRIVILEGES;
                    
                    消息中间件有哪些常见类型
                        xmh-sxh-1314
java
                        消息中间件根据其设计理念和用途，可以大致分为以下几种常见类型：点对点消息队列（Point-to-PointMessagingQueues）：在这种模型中，消息被发送到特定的队列中，消费者从队列中取出并处理消息。队列中的消息只能被一个消费者消费，消费后即被删除。常见的实现包括IBM的MQSeries、RabbitMQ的部分使用场景等。适用于任务分发、负载均衡等场景。发布/订阅消息模型（Pub/Sub
                    
                    GitHub上克隆项目
                        bigbig猩猩
github
                        从GitHub上克隆项目是一个简单且直接的过程，它允许你将远程仓库中的项目复制到你的本地计算机上，以便进行进一步的开发、测试或学习。以下是一个详细的步骤指南，帮助你从GitHub上克隆项目。一、准备工作1.安装Git在克隆GitHub项目之前，你需要在你的计算机上安装Git工具。Git是一个开源的分布式版本控制系统，用于跟踪和管理代码变更。你可以从Git的官方网站（https://git-scm.
                    
                    MYSQL面试系列-04
                        king01299
面试mysql面试
                        MYSQL面试系列-0417.关于redolog和binlog的刷盘机制、redolog、undolog作用、GTID是做什么的？innodb_flush_log_at_trx_commit及sync_binlog参数意义双117.1innodb_flush_log_at_trx_commit该变量定义了InnoDB在每次事务提交时，如何处理未刷入（flush）的重做日志信息（redolog）。它
                    
                    01-Git初识
                        Meereen
Gitgit
                        01-Git初识概念：一个免费开源，分布式的代码版本控制系统，帮助开发团队维护代码作用：记录代码内容。切换代码版本，多人开发时高效合并代码内容如何学：个人本机使用：Git基础命令和概念多人共享使用：团队开发同一个项目的代码版本管理Git配置用户信息配置：用户名和邮箱，应用在每次提交代码版本时表明自己的身份命令：查看git版本号git-v配置用户名gitconfig--globaluser.name
                    
                    【六】阿伟开始搭建Kafka学习环境
                        能源恒观
中间件学习kafkaspring
                        阿伟开始搭建Kafka学习环境概述上一篇文章阿伟学习了Kafka的核心概念，并且把市面上流行的消息中间件特性进行了梳理和对比，方便大家在学习过程中进行对比学习，最后梳理了一些Kafka使用中经常遇到的Kafka难题以及解决思路，经过上一篇的学习我相信大家对Kafka有了初步的认识，本篇将继续学习Kafka。一、安装和配置学习一项技术首先要搭建一套服务，而Kafka的运行主要需要部署jdk、zook
                    
                    关于Mysql 中 Row size too large (＞ 8126) 错误的解决和理解
                        秋刀prince
mysqlmysql数据库
                        提示：啰嗦一嘴，数据库的任何操作和验证前，一定要记得先备份！！！不会有错；文章目录问题发现一、问题导致的可能原因1、页大小2、行格式2.1compact格式2.2Redundant格式2.3Dynamic格式2.4Compressed格式3、BLOB和TEXT列二、解决办法1、修改页大小（不推荐）2、修改行格式3、修改数据类型为BLOB和TEXT列4、其他优化方式（可以参考使用）4.1合理设置数据
                    
                    Kafka是如何保证数据的安全性、可靠性和分区的
                        喜欢猪猪
kafka分布式
                        Kafka作为一个高性能、可扩展的分布式流处理平台，通过多种机制来确保数据的安全性、可靠性和分区的有效管理。以下是关于Kafka如何保证数据安全性、可靠性和分区的详细解析：一、数据安全性SSL/TLS加密：Kafka支持SSL/TLS协议，通过配置SSL证书和密钥来加密数据传输，确保数据在传输过程中不会被窃取或篡改。这一机制有效防止了中间人攻击，保护了数据的安全性。SASL认证：Kafka支持多种
                    
                    MongoDB知识概括
                        GeorgeLin98
持久层mongodb
                        MongoDB知识概括MongoDB相关概念单机部署基本常用命令索引-IndexSpirngDataMongoDB集成副本集分片集群安全认证MongoDB相关概念业务应用场景：传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。解释：“三高”需求：①Highperformance-对数据库高并发读写的需求。②HugeStorage-对海量数
                    
                    入门MySQL——查询语法练习
                        K_un

                        前言：前面几篇文章为大家介绍了DML以及DDL语句的使用方法，本篇文章将主要讲述常用的查询语法。其实MySQL官网给出了多个示例数据库供大家实用查询，下面我们以最常用的员工示例数据库为准，详细介绍各自常用的查询语法。1.员工示例数据库导入官方文档员工示例数据库介绍及下载链接：https://dev.mysql.com/doc/employee/en/employees-installation.h
                    
                    WebMagic：强大的Java爬虫框架解析与实战
                        Aaron_945
Javajava爬虫开发语言
                        文章目录引言官网链接WebMagic原理概述基础使用1.添加依赖2.编写PageProcessor高级使用1.自定义Pipeline2.分布式抓取优点结论引言在大数据时代，网络爬虫作为数据收集的重要工具，扮演着不可或缺的角色。Java作为一门广泛使用的编程语言，在爬虫开发领域也有其独特的优势。WebMagic是一个开源的Java爬虫框架，它提供了简单灵活的API，支持多线程、分布式抓取，以及丰富的
                    
                    博客网站制作教程
                        2401_85194651
javamaven
                        首先就是技术框架：后端：Java+SpringBoot数据库：MySQL前端：Vue.js数据库连接：JPA(JavaPersistenceAPI)1.项目结构blog-app/├──backend/│├──src/main/java/com/example/blogapp/││├──BlogApplication.java││├──config/│││└──DatabaseConfig.java
                    
                    ubuntu安装wordpress
                        lissettecarlr

                        1安装nginx网上安装方式很多，这就就直接用apt-get了apt-getinstallnginx不用启动啥，然后直接在浏览器里面输入IP:80就能看到nginx的主页了。如果修改了一些配置可以使用下列命令重启一下systemctlrestartnginx.service2安装mysql输入安装前也可以更新一下软件源，在安装过程中将会让你输入数据库的密码。sudoapt-getinstallmy
                    
                    计算机毕业设计PHP仓储综合管理系统（源码+程序+VUE+lw+部署）
                        java毕设程序源码王哥
php课程设计vue.js
                        该项目含有源码、文档、程序、数据库、配套开发软件、软件安装教程。欢迎交流项目运行环境配置：phpStudy+Vscode+Mysql5.7+HBuilderX+Navicat11+Vue+Express。项目技术：原生PHP++Vue等等组成，B/S模式+Vscode管理+前后端分离等等。环境需要1.运行环境：最好是小皮phpstudy最新版，我们在这个版本上开发的。其他版本理论上也可以。2.开发
                    
                    华为云分布式缓存服务DCS 8月新特性发布
                        华为云PaaS服务小智
华为云分布式缓存
                        分布式缓存服务（DistributedCacheService，简称DCS）是华为云提供的一款兼容Redis的高速内存数据处理引擎，为您提供即开即用、安全可靠、弹性扩容、便捷管理的在线分布式缓存能力，满足用户高并发及数据快速访问的业务诉求。此次为大家带来DCS8月的特性更新内容，一起来看看吧！
                    
                    浅谈MapReduce
                        Android路上的人
Hadoop分布式计算mapreduce分布式框架hadoop
                        从今天开始，本人将会开始对另一项技术的学习，就是当下炙手可热的Hadoop分布式就算技术。目前国内外的诸多公司因为业务发展的需要，都纷纷用了此平台。国内的比如BAT啦，国外的在这方面走的更加的前面，就不一一列举了。但是Hadoop作为Apache的一个开源项目，在下面有非常多的子项目，比如HDFS，HBase,Hive，Pig,等等，要先彻底学习整个Hadoop，仅仅凭借一个的力量，是远远不够的。
                    
                    You have an error in your SQL syntax； check the manual that corresponds to your MySQL server version
                        努力的菜鸟~
sql数据库
                        YouhaveanerrorinyourSQLsyntax;checkthemanualthatcorrespondstoyourMySQLserverversionfortherightsyntaxtousenear‘IDENTIFIEDBY‘123456’WITHGRANTOPTION’atline1在mysql5.7之前GRANTALLPRIVILEGESON*.*TO'root'@'%'I
                    
                    mysql学习教程，从入门到精通，TOP 和MySQL LIMIT 子句（15）
                        知识分享小能手
大数据数据库MySQLmysql学习oracle数据库开发语言adb大数据
                        1、TOP和MySQLLIMIT子句内容在SQL中，不同的数据库系统对于限制查询结果的数量有不同的实现方式。TOP关键字主要用于SQLServer和Access数据库中，而LIMIT子句则主要用于MySQL、PostgreSQL（通过LIMIT/OFFSET语法）、SQLite等数据库中。下面将分别详细介绍这两个功能的语法、语句以及案例。1.1、TOP子句（SQLServer和Access）1.1
                    
                    鲲鹏 ARM 架构 麒麟 Lylin v10 安装 Nginx (离线)
                        焚木灵
arm开发架构nginx服务器
                        最近做一个银行的项目，银行的服务器是鲲鹏ARM架构的服务器，并且是麒麟v10的系统，这里记录一下在无法访问外网安装Nginx的方法。其他文章：鲲鹏ARM架构麒麟Lylinv10安装Mysql8.3(离线)-CSDN博客鲲鹏ARM架构麒麟Lylinv10安装Node和NVM(离线)-CSDN博客鲲鹏ARM架构麒麟Lylinv10安装Pm2(离线)-CSDN博客鲲鹏ARM架构麒麟Lylinv10安装P
                    
                    【从问题中去学习k8s】k8s中的常见面试题（夯实理论基础）（二十八）
                        向往风的男子
k8s学习kubernetes容器
                        本站以分享各种运维经验和运维所需要的技能为主《python零基础入门》：python零基础入门学习《python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战《k8》从问题中去学习k8s《docker学习》暂未更新《ceph学习》ceph日常问题解决分享《日志收集》ELK+各种中间件《运维日常》
                    
                    KVM+GFS分布式存储系统构建KVM高可用
                        henan程序媛
分布式GFS高可用KVM
                        一、案列分析1.1案列概述本章案例主要使用之前章节所学的KVM及GlusterFs技术,结合起来从而实现KVM高可用。利用GlusterFs分布式复制卷，对KVM虚拟机文件进行分布存储和冗余。分布式复制卷主要用于需要冗余的情况下把一个文件存放在两个或两个以上的节点,当其中一个节点数据丢失或者损坏之后，KVM仍然能够通过卷组找到另一节点上存储的虚拟机文件，以保证虚拟机正常运行。当节点修复之后，Glu
                    
                    Kubernetes部署MySQL数据持久化
                        沫殇-MS
KubernetesMySQL数据库kubernetesmysql容器
                        一、安装配置NFS服务端1、安装nfs-kernel-server：sudoapt-yinstallnfs-kernel-server2、服务端创建共享目录#列出所有可用块设备的信息lsblk#格式化磁盘sudomkfs-text4/dev/sdb#创建一个目录：sudomkdir-p/data/nfs/mysql#更改目录权限：sudochown-Rnobody:nogroup/data/nfs
                    
                    MySQL事务隔离级别和MVCC
                        简书徐小耳

                        MySQL事务隔离级别和MVCC参考：https://mp.weixin.qq.com/s/Jeg8656gGtkPteYWrG5_Nw1.MVCC只对读已提交和可重复的读有效果，而未提交读和串行则无意义。2.每条记录都会有trx_id(事务修改记录的id）和roll_pointer是一个指针指向旧版本的undo日志链表（row_id不是必必要的，如果有主键存在就不需要了）3.版本链的头结点就是记
                    
                    Hadoop
                        傲雪凌霜，松柏长青
后端大数据hadoop大数据分布式
                        ApacheHadoop是一个开源的分布式计算框架，主要用于处理海量数据集。它具有高度的可扩展性、容错性和高效的分布式存储与计算能力。Hadoop核心由四个主要模块组成，分别是HDFS（分布式文件系统）、MapReduce（分布式计算框架）、YARN（资源管理）和HadoopCommon（公共工具和库）。1.HDFS（HadoopDistributedFileSystem）HDFS是Hadoop生
                    
                    CentOS7 安装MySQL5.7.44
                        不要Null了
javacentosmysql
                        1.下载mysql安装包，我放在百度网盘里(下方链接)链接：https://pan.baidu.com/s/1_Mn1XW_1mWdTV4mhnLG66A提取码：s31n2.首先看看以前是否安装过mysqlrpm-qa|grep-imysql如果已经安装过mysql会提示卸载mysqlrpm-emysql-…3.使用FinallShell或者Xftp进行上传放到/usr/local/mysql，没
                    
                    非关系型数据库
                        天秤-white
nosql
                        一、为什么要用Nosql1.单机MySQL的时代。一个基本的网站访问量一般不会太大，单个数据库完全足够。那时候更多使用的静态网页html，服务器根本没有太大压力。这时候网站的瓶颈是什么？-数据量如果太大，一个机器放不下。-数据量太大需要建立数据的索引（B+Tree），一个服务器内存放不下。-访问量读写混合，一个服务器承受不了。2.memcached缓存+MySQL+垂直拆分（读写分离）。网站80%
                    
                    六、全局锁和表锁：给表加个字段怎么有这么多阻碍
                        nieniemin

                        数据库锁设计的初衷是处理并发问题。作为多用户共享的资源，当出现并发访问的时候，数据库需要合理地控制资源的访问规则。而锁就是用来实现这些访问规则的重要数据结构。根据加锁的范围，MySQL里面的锁大致可以分成全局锁、表级锁和行锁三类。6.1全局锁全局锁就是对整个数据库实例加锁。MySQL提供了一个加全局读锁的方法，命令是Flushtableswithreadlock(FTWRL)。当你需要让整个库处于
                    
                    Kubernetes 自定义控制器开发
                        IT回忆录
Kubeneteskubernetes
                        目录前言一、CRD二、创建数据库表（Mysql）二、控制器开发1.使用kubernetes的examplecontroller模板2.在controller.go中新增数据表监听方法3.修改tools工具生成资源对象结构体定义这里记录开发k8s控制器的一般方式，controller开发主要使用k8s提供的client-go库进行。前言Controller监听集群内部资源对象的变化，编辑资源对象(增
                    
                    大模型训练数据库Common Crawl
                        WindyChanChan
数据集语言模型数据库
                        CommonCrawl介绍‌‌CommonCrawl是一个非营利组织，致力于通过大规模分布式爬虫系统定期抓取整个Web并将其存储在一个可公开访问的数据库中。CommonCrawl的数据收集和处理过程包括使用Python开源爬虫工具收集全球范围内的网站数据，并将其上传到‌CommonCrawl基金会的数据仓库中。该项目从2008年开始，至今已经积累了大量的原始网页数据、元数据和文本提取数据。这些数据
                    
                    慢速连接攻击是什么？慢速连接攻击怎么防护？
                        快快小毛毛
网络ddos服务器
                        慢速连接攻击（SlowConnectionAttack），又称慢速攻击（SlowlorisAttack），是一种网络攻击技术，旨在通过占用服务器上的所有可用连接资源来使其无法响应正常请求。与传统的拒绝服务（DoS）和分布式拒绝服务（DDoS）攻击不同，慢速攻击并不依赖于发送大量数据包来消耗带宽，而是利用HTTP、TCP或SSL等协议的特性，通过发送大量不完整的请求或缓慢发送数据来占用服务器资源，使
                    
                                辗转相处求最大公约数
                                    沐刃青蛟
C++漏洞
                                    无言面对”江东父老“了，接触编程一年了，今天发现还不会辗转相除法求最大公约数。惭愧惭愧！ 
  
为此，总结一下以方便日后忘了好查找。 
  
1.输入要比较的两个数a,b 
  
忽略：2.比较大小（因为后面要的是大的数对小的数做%操作） 
  
3.辗转相除（用循环不停的取余，如a%b,直至b=0） 
  
4.最后的a为两数的最大公约数 
&
                                
                                F5负载均衡会话保持技术及原理技术白皮书
                                    bijian1013
F5负载均衡
                                    一.什么是会话保持？        在大多数电子商务的应用系统或者需要进行用户身份认证的在线系统中，一个客户与服务器经常经过好几次的交互过程才能完成一笔交易或者是一个请求的完成。由于这几次交互过程是密切相关的，服务器在进行这些交互过程的某一个交互步骤时，往往需要了解上一次交互过程的处理结果，或者上几步的交互过程结果，服务器进行下
                                
                                Object.equals方法：重载还是覆盖
                                    Cwind
javagenericsoverrideoverload
                                    本文译自StackOverflow上对此问题的讨论。 
原问题链接 
  
在阅读Joshua Bloch的《Effective Java（第二版）》第8条“覆盖equals时请遵守通用约定”时对如下论述有疑问： 
“不要将equals声明中的Object对象替换为其他的类型。程序员编写出下面这样的equals方法并不鲜见，这会使程序员花上数个小时都搞不清它为什么不能正常工作：” 
pu
                                
                                初始线程
                                    15700786134

                                          暑假学习的第一课是讲线程，任务是是界面上的一条线运动起来。 
  
  
       既然是在界面上，那必定得先有一个界面，所以第一步就是，自己的类继承JAVA中的JFrame，在新建的类中写一个界面，代码如下： 
public class ShapeFr
                                
                                Linux的tcpdump
                                    被触发
tcpdump
                                    用简单的话来定义tcpdump，就是：dump the traffic on a network，根据使用者的定义对网络上的数据包进行截获的包分析工具。 tcpdump可以将网络中传送的数据包的“头”完全截获下来提供分析。它支 持针对网络层、协议、主机、网络或端口的过滤，并提供and、or、not等逻辑语句来帮助你去掉无用的信息。 
 
实用命令实例 
默认启动 
tcpdump 
普通情况下，直
                                
                                安卓程序listview优化后还是卡顿
                                    肆无忌惮_
ListView
                                    最近用eclipse开发一个安卓app，listview使用baseadapter，里面有一个ImageView和两个TextView。使用了Holder内部类进行优化了还是很卡顿。后来发现是图片资源的问题。把一张分辨率高的图片放在了drawable-mdpi文件夹下，当我在每个item中显示，他都要进行缩放，导致很卡顿。解决办法是把这个高分辨率图片放到drawable-xxhdpi下。 
&nb
                                
                                扩展easyUI tab控件，添加加载遮罩效果
                                    知了ing
jquery
                                    (function () {  
    $.extend($.fn.tabs.methods, {  
        //显示遮罩  
        loading: function (jq, msg) {  
            return jq.each(function () {  
                var panel = $(this).tabs(&
                                
                                gradle上传jar到nexus
                                    矮蛋蛋
gradle
                                    原文地址： 
https://docs.gradle.org/current/userguide/maven_plugin.html 
configurations { 
    deployerJars 
} 
 
dependencies { 
    deployerJars "org.apache.maven.wagon
                                
                                千万条数据外网导入数据库的解决方案。
                                    alleni123
sqlmysql
                                    从某网上爬了数千万的数据，存在文本中。 
然后要导入mysql数据库。 
 
悲剧的是数据库和我存数据的服务器不在一个内网里面。。 
 
 
ping了一下， 19ms的延迟。 
 
于是下面的代码是没用的。 
 

ps = con.prepareStatement(sql);
	ps.setString(1, info.getYear())............;
			ps.exec
                                
                                JAVA IO InputStreamReader和OutputStreamReader
                                    百合不是茶
JAVA.io操作 字符流
                                    这是第三篇关于java.io的文章了，从开始对io的不了解-->熟悉--->模糊，是这几天来对文件操作中最大的感受，本来自己认为的熟悉了的，刚刚在回想起前面学的好像又不是很清晰了，模糊对我现在或许是最好的鼓励 我会更加的去学 加油！： 
JAVA的API提供了另外一种数据保存途径，使用字符流来保存的，字符流只能保存字符形式的流 
  
字节流和字符的难点：a,怎么将读到的数据
                                
                                MO、MT解读
                                    bijian1013
GSM
                                    MO= Mobile originate，上行，即用户上发给SP的信息。MT= Mobile Terminate，下行，即SP端下发给用户的信息； 
上行:mo提交短信到短信中心下行:mt短信中心向特定的用户转发短信，你的短信是这样的，你所提交的短信，投递的地址是短信中心。短信中心收到你的短信后，存储转发，转发的时候就会根据你填写的接收方号码寻找路由，下发。在彩信领域是一样的道理。下行业务：由SP
                                
                                五个JavaScript基础问题
                                    bijian1013
JavaScriptcallapplythisHoisting
                                    下面是五个关于前端相关的基础问题，但却很能体现JavaScript的基本功底。 
问题1：Scope作用范围 
考虑下面的代码：  
(function() {
   var a = b = 5;
})();
console.log(b); 
什么会被打印在控制台上？  
回答： 
        上面的代码会打印 5。 
&nbs
                                
                                【Thrift二】Thrift Hello World
                                    bit1129
Hello world
                                    本篇，不考虑细节问题和为什么，先照葫芦画瓢写一个Thrift版本的Hello World，了解Thrift RPC服务开发的基本流程 
  
1. 在Intellij中创建一个Maven模块，加入对Thrift的依赖，同时还要加上slf4j依赖，如果不加slf4j依赖，在后面启动Thrift Server时会报错 
        <dependency>
        
                                
                                【Avro一】Avro入门
                                    bit1129
入门
                                    本文的目的主要是总结下基于Avro Schema代码生成，然后进行序列化和反序列化开发的基本流程。需要指出的是，Avro并不要求一定得根据Schema文件生成代码，这对于动态类型语言很有用。 
  1. 添加Maven依赖 
  
<?xml version="1.0" encoding="UTF-8"?>
<proj
                                
                                安装nginx+ngx_lua支持WAF防护功能
                                    ronin47

                                    需要的软件:LuaJIT-2.0.0.tar.gz                   nginx-1.4.4.tar.gz          &nb
                                
                                java-5.查找最小的K个元素-使用最大堆
                                    bylijinnan
java
                                    
import java.util.Arrays;
import java.util.Random;


public class MinKElement {

	/**
	 * 5.最小的K个元素
	 * I would like to use MaxHeap.
	 * using QuickSort is also OK
	 */
	public static void
                                
                                TCP的TIME-WAIT
                                    bylijinnan
socket
                                    原文连接： 
http://vincent.bernat.im/en/blog/2014-tcp-time-wait-state-linux.html 
 
以下为对原文的阅读笔记 
 
说明： 
主动关闭的一方称为local end，被动关闭的一方称为remote end 
本地IP、本地端口、远端IP、远端端口这一“四元组”称为quadruplet，也称为socket 
 
1、TIME_WA
                                
                                jquery ajax 序列化表单
                                    coder_xpf
Jquery ajax 序列化
                                      
 checkbox 如果不设定值，默认选中值为on；设定值之后，选中则为设定的值 
  
<input type="checkbox" name="favor" id="favor" checked="checked"/>
$("#favor&quo
                                
                                Apache集群乱码和最高并发控制
                                    cuisuqiang
apachetomcat并发集群乱码
                                    都知道如果使用Http访问，那么在Connector中增加URIEncoding即可，其实使用AJP时也一样，增加useBodyEncodingForURI和URIEncoding即可。 
最大连接数也是一样的，增加maxThreads属性即可，如下，配置如下： 
<Connector maxThreads="300" port="8019" prot
                                
                                websocket
                                    dalan_123
websocket
                                    一、低延迟的客户端-服务器 和 服务器-客户端的连接 
很多时候所谓的http的请求、响应的模式，都是客户端加载一个网页，直到用户在进行下一次点击的时候，什么都不会发生。并且所有的http的通信都是客户端控制的，这时候就需要用户的互动或定期轮训的，以便从服务器端加载新的数据。 
  通常采用的技术比如推送和comet（使用http长连接、无需安装浏览器安装插件的两种方式：基于ajax的长
                                
                                菜鸟分析网络执法官
                                    dcj3sjt126com
网络
                                      
最近在论坛上看到很多贴子在讨论网络执法官的问题。菜鸟我正好知道这回事情.人道"人之患好为人师" 手里忍不住,就写点东西吧. 我也很忙.又没有MM,又没有MONEY....晕倒有点跑题. 
OK,闲话少说,切如正题. 要了解网络执法官的原理. 就要先了解局域网的通信的原理. 
前面我们看到了.在以太网上传输的都是具有以太网头的数据包. 
                                
                                Android相对布局属性全集
                                    dcj3sjt126com
android
                                    RelativeLayout布局android:layout_marginTop="25dip" //顶部距离android:gravity="left" //空间布局位置android:layout_marginLeft="15dip //距离左边距 
// 相对于给定ID控件android:layout_above 将该控件的底部置于给定ID的
                                
                                Tomcat内存设置详解
                                    eksliang
jvmtomcattomcat内存设置
                                    Java内存溢出详解 
  
一、常见的Java内存溢出有以下三种： 
  
1. java.lang.OutOfMemoryError: Java heap space ----JVM Heap（堆）溢出JVM在启动的时候会自动设置JVM Heap的值，其初始空间(即-Xms)是物理内存的1/64，最大空间(-Xmx)不可超过物理内存。 
可以利用JVM提
                                
                                Java6 JVM参数选项
                                    greatwqs
javaHotSpotjvmjvm参数JVM Options
                                    Java 6 JVM参数选项大全（中文版）  
  
作者：Ken Wu 
Email: [email protected] 
转载本文档请注明原文链接 http://kenwublog.com/docs/java6-jvm-options-chinese-edition.htm！ 
  
本文是基于最新的SUN官方文档Java SE 6 Hotspot VM Opt
                                
                                weblogic创建JMC
                                    i5land
weblogicjms
                                    进入 weblogic控制太 
1.创建持久化存储 
 --Services--Persistant Stores--new--Create FileStores--name随便起--target默认--Directory写入在本机建立的文件夹的路径--ok 
 
2.创建JMS服务器 
 --Services--Messaging--JMS Servers--new--name随便起--Pers
                                
                                基于 DHT 网络的磁力链接和BT种子的搜索引擎架构
                                    justjavac
DHT
                                    上周开发了一个磁力链接和 BT 种子的搜索引擎 {Magnet & Torrent}，本文简单介绍一下主要的系统功能和用到的技术。 
系统包括几个独立的部分： 
 
  使用 Python 的 Scrapy 框架开发的网络爬虫，用来爬取磁力链接和种子；  
  使用 PHP CI 框架开发的简易网站；  
  搜索引擎目前直接使用的 MySQL，将来可以考虑使
                                
                                sql添加、删除表中的列
                                    macroli
sql
                                    添加没有默认值：alter table Test add BazaarType char(1) 
有默认值的添加列：alter table Test add BazaarType char(1) default(0) 
删除没有默认值的列：alter table Test drop COLUMN BazaarType 
删除有默认值的列：先删除约束（默认值）alter table Test DRO
                                
                                PHP中二维数组的排序方法
                                    abc123456789cba
排序二维数组PHP
                                    <?php/*** @package     BugFree* @version     $Id: FunctionsMain.inc.php,v 1.32 2005/09/24 11:38:37 wwccss Exp $*** Sort an two-dimension array by some level 
                                
                                hive优化之------控制hive任务中的map数和reduce数
                                    superlxw1234
hivehive优化
                                    一、    控制hive任务中的map数:  1.    通常情况下，作业会通过input的目录产生一个或者多个map任务。  主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)；2. 
                                
                                Spring Boot 1.2.4 发布
                                    wiselyman
spring boot
                                    Spring Boot 1.2.4已于6.4日发布，repo.spring.io and Maven Central可以下载(推荐使用maven或者gradle构建下载)。 
  
这是一个维护版本，包含了一些修复small number of fixes,建议所有的用户升级。 
  
Spring Boot 1.3的第一个里程碑版本将在几天后发布，包含许多
                                
                
            
        
    


    
        
            按字母分类：
            ABCDEFGHIJKLMNOPQRSTUVWXYZ其他
        
    


    
        
            首页 -
            关于我们 -
            站内搜索 -
            Sitemap -
            侵权投诉
        
        版权所有 IT知识库 CopyRight © 2000-2050 E-COM-NET.COM , All Rights Reserved.

分布式mysql中间件（mycat）

1、 MyCAT概述

1.1 背景

1.2 发展历程

1.3 介绍

1.3.1 MyCat的下载方式

1.3.2 什么是MyCat？

1.3.3 MyCat的目标

1.3.4 MyCat的关键特性

1.3.5 MyCat的优势

1.3.6 MyCat的长期路线

1.4 总体架构

1.5 逻辑库

2、 基本使用教程

2.1 下载和安装

2.2 启动和停止

2.3 简单使用教程

2.3.1 安装MySQL以及客户端

2.3.2 创建数据库和表

2.3.3 垂直切分

2.3.3.1 垂直切分定义

2.3.3.2 优缺点

2.3.3.3 垂直切分实现

2.3.4 水平分库

2.3.4.1 水平切分定义

2.3.4.2 优缺点

2.3.4.3 水平切分实现

（1）创建库，表结构

（2）配置schema.xml文件

（3）配置rule.xml文件

（4）配置server.xml文件

（5）水平切分测试

2.3.5 读写分离

2.3.5.1 读写分离定义

2.3.5.2 优缺点

2.3.5.3 读写分离实现

2.3.6 全局表

2.3.6.1 全局表定义

2.3.6.2 全局表实现

（1）创建表结构

（2）配置schema.xml

（3）全局表测试

3、 参考文档

4、 地址

你可能感兴趣的:(分布式mysql中间件（mycat）)

2、基本使用教程

3、参考文档

4、地址