Amoeba for MySQL 读写分离配置

1.基本概要

两台服务器配置MYSQL主从复制实现数据高可用，这时读与写操作都有由master服务器来完成的，而从服务器只是复制了mster服务器的数据，这时可以利用一台服务器配置Amoeba实现mysql读写分离， master负责写，slave负责读取，当然 也可以有多个salve…… 从而减轻master服务器的压力，实现负载分摊；

 

Mysql主从复制原理：

两台mysql服务器一个作为master一个为slave；master上开启二进制日志，将自己所有使数据库发生改变的操作语句记录到而二进制日志中，slave端会开启一个IO线程向master请求masert二进制日志中的事件，master通过binlogdump线程将二进制日志事件发送给slave，slave将接收到的二进制日志时间保存在中继日志（relaylog）中，然后使用sql 线程之行中继日志；从而保证数据与master相同；

 

aomeba原理：

aomeba是使用java开发的，所以要首先配置jdk；mysql端配置主从复制，master上的数据复制到slave上，slave主要负责读；aomeba作为一个sql路由调度器，client发来的sql如果是write则分发到write dbserver上，如果是read ，则分发到read dbserver；

2.环境的配置

（1）java环境的配置

 

Amoeba框架是基于Java SE1.5开发的，建议使用Java SE1.5以上的版本。

 

1.软件包为jdk-7u51-linux-x64.tar，直接解压就可以用了 

2.解压软件包 tarzxf jdk-7u51-linux-x64.tar

3.配置环境java的环境变量 vim /root/.bash_profile 文件

添加配置如下：

 

exportJAVA_HOME=/usr/local/jdk1.7.0_51

exportCLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

PATH=$JAVA_HOME/bin:$PATH:$HOME/bin 

保存后配置文件生效

 source.bash_profile

 

检查java版本 java  -version

3.安装amoeba软件

# mkdir  /usr/local/amoeba

# unzip  amoeba-mysql-3.0.5-RC-distribution.zip

# /bin/cp �Crfamoeba-mysql-3.0.5-RC/* /usr/local/amoeba

4.配置amoeba for mysql

(1.)dbServers.xml   想象Amoeba作为数据库代理层，它一定会和很多数据库保持通信，因此它必须知道由它代理的数据库如何连接，比如最基础的：主机IP、端口、Amoeba使用的用户名和密码等等。这些信息存储在$AMOEBA_HOME/conf/dbServers.xml中。

(2.) rule.xmlAmoeba为了完成数据切分提供了完善的切分规则配置，为了了解如何分片数据、如何将数据库返回的数据整合，它必须知道切分规则。与切分规则相关的信息存储在$AMOEBA_HOME/conf/rule.xml中。

(3.) functionMap.xml当我们书写SQL来操作数据库的时候，常常会用到很多不同的数据库函数，比如：UNIX_TIMESTAMP()、SYSDATE()等等。这些函数如何被Amoeba解析呢？$AMOEBA_HOME/conf/functionMap.xml描述了函数名和函数处理的关系。

(4.)ruleFunctionMap.xml对$AMOEBA_HOME/conf/rule.xml进行配置时，会用到一些我们自己定义的函数，比如我们需要对用户ID求HASH值来切分数据，这些函数在$AMOEBA_HOME/conf/ruleFunctionMap.xml中定义。

(5.)access_list.confAmoeba可以制定一些可访问以及拒绝访问的主机IP地址，这

Amoebafor MySQL 读写分离配置(mysql主从复制配置见前面的博文)

 

部分配置在$AMOEBA_HOME/conf/access_list.conf中。

(6.)log4j.xml  Amoeba允许用户配置输出日志级别以及方式，配置方法使用log4j的文件格式，文件是$AMOEBA_HOME/conf/log4j.xml。其中，我们主要用到dbServer.xml 和amoeba.xml 。

配置：

<?xml version="1.0" encoding="gbk"?>

<!DOCTYPE amoeba:dbServers SYSTEM "dbserver.dtd">

<amoeba:dbServers xmlns:amoeba="http://amoeba.meidusa.com/">

         <dbServer name="abstractServer" abstractive="true">

<factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">

<property name="connectionManager">${defaultManager}</property>

<property name="sendBufferSize">64</property>

<property name="receiveBufferSize">128</property>

<!-- mysql port -- > <! ―代理连接数据库使用的端口号 -- >

<property name="port">3306</property>

<!-- mysql schema -- > <! ―代理连接数据库 所使用的代理连接数据库 所使用的-- >

<property name="schema">zzx</property>

<!-- mysql user -- ><! ―代理连接数据库使用的户名 -- >

<property name="user">zzxg</property>

<! ―代理连接数据库使用的密码 代理连接数据库使用的密码 -- >

<property name="password">123456</property>

</factoryConfig>

<poolConfig class="com.meidusa.toolkit.common.poolable.PoolableObjectPool">

<property name="maxActive">500</property>

<property name="maxIdle">500</property>

<property name="minIdle">1</property>

<property name="minEvictableIdleTimeMillis">600000</property>

<property name="timeBetweenEvictionRunsMillis">600000</property>

<property name="testOnBorrow">true</property>

<property name="testOnReturn">true</property>

<property name="testWhileIdle">true</property>

</poolConfig>

</dbServer>

             <! --- 配置真实的数据库地址 配置真实的数据库地址 -- > 

             <! --- 配置主从服务器及连接池 配置主从服务器及连接池 -- >

<dbServer name="server1"  parent="abstractServer">

<factoryConfig>

<!-- mysql ip -->

<property name="ipAddress">192.168.0.154</property>

</factoryConfig>

</dbServer>

<dbServer name="server2"  parent="abstractServer">

<factoryConfig>

<!-- mysql ip -->

<property name="ipAddress">192.168.0.153</property>

</factoryConfig>

</dbServer>

<dbServer name="multiPool" virtual="true">

<poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">

<!-- Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->

                        <!-- loadbalance：负载方式1：轮询2：加权重3：HA -->

<property name="loadbalance">1</property>

<!-- Separated by commas,such as: server1,server2,server1 -->

<property name="poolNames">server1,server2</property>

</poolConfig>

</dbServer>

</amoeba:dbServers>

5.amoeba.xml 配置：客户端连接Amoeba时所绑定的IP地址、端口、用户名和密码。及IP访问限制。

配置：

<?xml version="1.0" encoding="gbk"?>

<!DOCTYPE amoeba:configuration SYSTEM "amoeba.dtd">

<amoeba:configuration xmlns:amoeba="http://amoeba.meidusa.com/">

<proxy>

<!-- service class must implements com.meidusa.amoeba.service.Service -->

<service name="Amoeba for Mysql" class="com.meidusa.amoeba.mysql.server.MySQLService">

<!-- port -->

<property name="port">3306</property>

<!-- bind ipAddress -->

<!-- 

<property name="ipAddress">127.0.0.1</property>

-->

<property name="connectionFactory">

<bean class="com.meidusa.amoeba.mysql.net.MysqlClientConnectionFactory">

<property name="sendBufferSize">128</property>

<property name="receiveBufferSize">64</property>

</bean>

</property>

<property name="authenticateProvider">

<bean class="com.meidusa.amoeba.mysql.server.MysqlClientAuthenticator">

<property name="user">amoeba</property>

<property name="password">123456</property>

<property name="filter">

<bean class="com.meidusa.toolkit.net.authenticate.server.IPAccessController">

<property name="ipFile">${amoeba.home}/conf/access_list.conf</property>

</bean>

</property>

</bean>

</property>

</service>

<runtime class="com.meidusa.amoeba.mysql.context.MysqlRuntimeContext">

<!-- proxy server client process thread size -->

<property name="executeThreadSize">128</property>

<!-- per connection cache prepared statement size  -->

<property name="statementCacheSize">500</property>

<!-- default charset -->

<property name="serverCharset">utf8</property>

<!-- query timeout( default: 60 second , TimeUnit:second) -->

<property name="queryTimeout">60</property>

</runtime>

</proxy>

<!-- 

Each ConnectionManager will start as thread

manager responsible for the Connection IO read , Death Detection

-->

<connectionManagerList>

<connectionManager name="defaultManager" class="com.meidusa.toolkit.net.MultiConnectionManagerWrapper">

<property name="subManagerClassName">com.meidusa.toolkit.net.AuthingableConnectionManager</property>

</connectionManager>

</connectionManagerList>

<!-- default using file loader -->

<dbServerLoader class="com.meidusa.amoeba.context.DBServerConfigFileLoader">

<property name="configFile">${amoeba.home}/conf/dbServers.xml</property>

</dbServerLoader>

<queryRouter class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter">

<property name="ruleLoader">

<bean class="com.meidusa.amoeba.route.TableRuleFileLoader">

<property name="ruleFile">${amoeba.home}/conf/rule.xml</property>

<property name="functionFile">${amoeba.home}/conf/ruleFunctionMap.xml</property>

</bean>

</property>

<property name="sqlFunctionFile">${amoeba.home}/conf/functionMap.xml</property>

<property name="LRUMapSize">1500</property>

<property name="defaultPool">multiPool</property>

<!--

<property name="writePool">server1</property>

<property name="readPool">server2</property>

-->

<property name="needParse">true</property>

</queryRouter>

</amoeba:configuration>

通过以上简单配置，已经可以实现数据库的读写分离了。

 

 

6.测试启动

 

 cd /usr/local/bin/

 ./launcher\\(也可通过nohup后台启动，或者自己写一个脚本来启动。)启动的Amoeba默认端口为3306在客户端连接Amoeba测试：

mysql  -uamoeba �Cp123456  -h192.168.0.126  --port 3006

mysql> showdatabases;

mysql> CREATEDATABASE zzx; 

\\创建数据库，之后在主从库分别查看通过Amoeba登录，进行数据的查询及插入更新等操作，并查看mysql-log日志，可发现所执行的INSERT 、UPDATE、DELETE等操作在主库server1上操作，SELECT查询语句在从库server2上执行。

 

用tcpdump抓包

Tcpdump �Ci eth0 �Cnn �CX �Cvv tcp port 3306and ip host 192.168.0.153