1、mysql-proxy实现Mariadb读写分离
1、1 拓扑图和环境介绍
1、2 mysql-proxy安装
1、3 设置mysql-proxy
1、4 主节点添加mysql-proxy可访问用户
1、5 读写分离验证
2、amoeba
2、1 amoeba工作原理图
2、2 环境拓扑
2、3 配置JAVA环境
2、4 安装配置amoeba
2、5 抓包验证读写分离
MySQL Proxy就是这么一个中间层代理,简单的说,MySQL Proxy就是一个连接池,负责将前台应用的连接请求转发给后台的数据库,并且通过使用lua脚本,可以实现复杂的连接控制和过滤,从而实现读写分离和负载平衡。对于应用来说,MySQL Proxy是完全透明的,应用则只需要连接到MySQL Proxy的监听端口即可。当然,这样proxy机器可能成为单点失效,但完全可以使用多个proxy机器做为冗余,在应用服务器的连接池配置中配置到多个proxy的连接参数即可。
MySQL Proxy更强大的一项功能是实现“读写分离”,基本原理是让主数据库处理事务性查询,让从库处理SELECT查询。数据库复制被用来把事务性查询导致的变更同步到集群中的从库。
-――百度百科
Mysql-proxy官方地址:dev.mysql.com/downloads/mysql-proxy/
主机名 |
IP地址 |
系统环境 |
功能说明 |
Mysql-proxy |
172.16.4.100 |
Centos6.6 64位 |
接收用户对后端数据库的读写操作,并且将读写操作分别发往后端不同主机 |
Master |
172.16.4.136 |
Mysql主库,可以接收读请求或者写请求 |
|
Slave |
172.16.4.10 |
Mysql从库,只能接收读请求,如果想写入数据,需要从主库复制 |
说明:Master和Slave的主从复制环境已经在实验前配置完成,这里不提供配置。
在epel的yum源中提供了mysql-proxy的rpm包,直接配置epel的yum源使用yum安装即可。
[root@mysql-proxy ~]# yum install mysql-proxy
但是rpm包安装的mysql-proxy不知道什么原因没有读写分离脚本(rw-splitting.lua),所以需要解压源码包复制一个读写分离脚本到/usr/lib64/mysql-proxy目录下。
[root@mysql-proxy ~]# tar xfmysql-proxy-0.8.5-linux-el6-x86-64bit.tar.gz [root@mysql-proxy ~]# cdmysql-proxy-0.8.5-linux-el6-x86-64bit/share/doc/mysql-proxy/ [root@mysql-proxy mysql-proxy]# cp rw-splitting.lua/usr/lib64/mysql-proxy/lua/
安装后生成的文件
[root@mysql-proxy ~]# rpm -ql mysql-proxy /etc/mysql-proxy.cnf #mysql-proxy的配置文件 /etc/rc.d/init.d/mysql-proxy #mysql-proxy启动脚本 /usr/bin/mysql-proxy #mysql-proxy的主程序
修改mysql-proxy配置文件,指明后端读写服务器,mysql-proxy的连接及管理相关配置即可
[root@mysql-proxy ~]# vim /etc/mysql-proxy.cnf [mysql-proxy] daemon = true pid-file = /var/run/mysql-proxy.pid log-file = /var/log/mysql-proxy.log log-level = debug max-open-files = 1024 plugins = admin,proxy user = mysql-proxy # #Proxy Configuration proxy-address = 0.0.0.0:3306 #代理服务器监听地址和端口 proxy-backend-addresses = 172.16.4.136:3306 #支持读写操作的后端 proxy-read-only-backend-addresses =172.16.4.10:3306 #只读后端服务器,如果有多个节点使用逗号隔开 proxy-lua-script =/usr/lib64/mysql-proxy/lua/rw-splitting.lua #指定使用的读写分离脚本 #proxy-skip-profiling = true # # Admin Configuration admin-address = 0.0.0.0:4041 #连接mysql-proxy的mysql界面端口 admin-lua-script =/usr/lib64/mysql-proxy/lua/admin.lua #指定使用的管理脚本 admin-username = admin #连接mysql-proxy的用户名 admin-password = admin #连接mysql-proxy的密码
设置完成启动mysql-proxy
[root@mysql-proxy ~]# service mysql-proxy start
验证3306端口是否启动,如果启动表示proxy工作正常
[root@mysql-proxy ~]# ss -tnlp | grep 3306 LISTEN 0 128 *:3306 *:* users:(("mysql-proxy",37922,11))
主节点设置允许root用户远程连接并设置密码,否则mysql-proxy无法完成访问。
MariaDB [(none)]> GRANT ALL ON *.* TOroot@'172.16.%.%' IDENTIFIED BY 'proxy'; MariaDB [(none)]> FLUSH PRIVILEGES;
说明:从节点不需要添加用户,因为主节点创建完成从节点就自动复制过去了。
这时使用mysql命令,连接mysql-proxy节点就可以查看数据库了
[root@mysql-proxy ~]# mysql -uroot -h172.16.4.100-p -e 'SHOW DATABASES;' Enter password: +--------------------+ | Database | +--------------------+ | information_schema | | hellodb | | mysql | | performance_schema | | test | +--------------------+
连接mysql-proxy验证读写分离,帐号密码端口等都在mysql-proxy.cnf中定义。
[root@mysql-proxy ~]# mysql -uadmin -padmin -P4041 -h172.16.4.100
使用SELECT * FROM backends;命令查看后端节点,从类型判断读服务器(ro)和写服务器(rw)
mysql> SELECT * FROM backends; +-------------+-------------------+---------+------+------+-------------------+ | backend_ndx | address | state | type | uuid | connected_clients | +-------------+-------------------+---------+------+------+-------------------+ | 1| 172.16.4.136:3306 | up | rw | NULL | 0 | | 2| 172.16.4.10:3306 | unknown | ro | NULL | 0 | +-------------+-------------------+---------+------+------+-------------------+ 2 rows in set (0.00 sec)
从节点status显示unknown的原因是还没有将请求发往到从节点,只要连接到proxy节点执行一个select操作就会显示状态为up;操作过程如下所示:
[root@mysql-proxy ~]# mysql -uroot -h172.16.4.100-p -e 'SELECT * from mysql.user;' [root@mysql-proxy ~]# mysql -uadmin -padmin -P4041-h172.16.4.100 mysql> SELECT * FROM backends; +-------------+-------------------+-------+------+------+-------------------+ | backend_ndx | address | state | type | uuid |connected_clients | +-------------+-------------------+-------+------+------+-------------------+ | 1| 172.16.4.136:3306 | up | rw | NULL | 0 | | 2| 172.16.4.10:3306 | up | ro | NULL | 0 | +-------------+-------------------+-------+------+------+-------------------+ 2 rows in set (0.00 sec)
设置完成关闭服务,以免影响后续amoeba实验效果
[root@mysql-proxy ~]# service mysql-proxy stop
Amoeba(变形虫)项目,该开源框架于2008年开始发布一款 Amoeba forMysql软件。这个软件致力于MySQL的分布式数据库前端代理层,它主要在应用层访问MySQL的时候充当SQL路由功能,专注于分布式数据库代理层(Database Proxy)开发。座落与 Client、DB Server(s)之间,对客户端透明。具有负载均衡、高可用性、SQL 过滤、读写分离、可路由相关的到目标数据库、可并发请求多台数据库合并结合。通过Amoeba你能够完成多数据源的高可用、负载均衡、数据切片的功能,目前Amoeba已在很多企业的生产线上面使用。
官方地址:http://docs.hexnova.com/amoeba/
Client通过连接JAVA、PHP开发的前端程序,由程序将数据库请求发送到amoeba,amoeba将读写操作分发到不同的mysql数据库。
Amoeba是根据JAVA语言研发的程序,如果想成功安装amoeba就需要配置JAVA运行环境。
[root@amoeba ~]# rpm -ivh jdk-7u67-linux-x64.rpm [root@amoeba ~]# vim /etc/profile.d/java.sh export JAVA_HOME=/usr/java/latest export PATH=$JAVA_HOME/bin:/$PATH [root@amoeba ~]# . /etc/profile.d/java.sh
验证,使用JAVA命令可以输出版本,表示JAVA环境配置成功
[root@amoeba ~]# java -version java version "1.7.0_67" Java(TM) SE Runtime Environment (build1.7.0_67-b01) Java HotSpot(TM) 64-Bit Server VM (build 24.65-b04,mixed mode)
解压amoeba到安装指定目录,就完了
[root@amoeba ~]# mkdir /usr/local/amoeba [root@amoeba ~]# tar xf amoeba-mysql-binary-2.2.0.tar.gz-C /usr/local/amoeba/
Master节点添加用户运行mysql-proxy远程连接(mysql-proxy的时候已经添加过了,这里只是强调一下,如果没有这个用户amoeba是无法完成代理的)
MariaDB [(none)]> GRANT ALL ON *.* TOroot@'172.16.%.%' IDENTIFIED BY 'proxy'; MariaDB [(none)]> FLUSH PRIVILEGES;
Slave节点不需要添加用户,因为主节点创建完成从节点就自动复制过去了。
修改amoeba的dbServers.xml文件,指定读写节点,设置client连接proxy的相关信息
[root@amoeba ~]# cat/usr/local/amoeba/conf/dbServers.xml <?xml version="1.0"encoding="gbk"?> <dbServername="abstractServer" abstractive="true"> <factoryConfigclass="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory"> <propertyname="manager">${defaultManager}</property> <propertyname="sendBufferSize">64</property> <propertyname="receiveBufferSize">128</property> <!--mysql port --> <propertyname="port">3306</property> #指定后端服务器的端口 <!--mysql schema --> <propertyname="schema">mydb</property> #指定默认连接的数据库 <!--mysql user --> <propertyname="user">root</property> #指定数据库用户名 <!-- mysql password --> <propertyname="password">proxy</property> #指定数据库密码 </factoryConfig> <poolConfigclass="com.meidusa.amoeba.net.poolable.PoolableObjectPool"> <propertyname="maxActive">500</property> <propertyname="maxIdle">500</property> <propertyname="minIdle">10</property> <propertyname="minEvictableIdleTimeMillis">600000</property> <propertyname="timeBetweenEvictionRunsMillis">600000</property> <propertyname="testOnBorrow">true</property> <propertyname="testOnReturn">true</property> <propertyname="testWhileIdle">true</property> </poolConfig> </dbServer> <dbServername="master" parent="abstractServer"> #定义写数据库,这里不是真正的定义,在后面的amoeba.xml中定义才生效 <factoryConfig> <!--mysql ip --> <propertyname="ipAddress">172.16.4.136</property> #定义写服务器地址 </factoryConfig> </dbServer> <dbServername="slave" parent="abstractServer"> #定义读服务器 <factoryConfig> <!--mysql ip --> <propertyname="ipAddress">172.16.4.10</property> #定义读服务器地址 </factoryConfig> </dbServer> <dbServername="readPool" virtual="true"> <poolConfigclass="com.meidusa.amoeba.server.MultipleServerPool"> <!--Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA--> <propertyname="loadbalance">1</property> #设置调度方式,1为负载,2为加权,3为高可用 <!--Separated by commas,such as: server1,server2,server1 --> <propertyname="poolNames">master,slave</property> #定义readPool池中的服务器,可以添加多个服务器,在后面的amoeba.xml统一调用 </poolConfig> </dbServer> </amoeba:dbServers>
修改amoeba.xml设置读写分离相关配置
[root@amoeba ~]# cat/usr/local/amoeba/conf/amoeba.xml <?xml version="1.0"encoding="gbk"?> <propertyname="port">3306</property> #设置amoeba监听的端口 <propertyname="ipAddress">0.0.0.0</property> #设置amoeba监听的地址 <propertyname="manager">${clientConnectioneManager}</property> <propertyname="connectionFactory"> <beanclass="com.meidusa.amoeba.mysql.net.MysqlClientConnectionFactory"> <propertyname="sendBufferSize">128</property> <propertyname="receiveBufferSize">64</property> </bean> </property> <propertyname="authenticator"> <beanclass="com.meidusa.amoeba.mysql.server.MysqlClientAuthenticator"> <propertyname="user">root</property> #设置连接后端服务器的帐号 <propertyname="password">proxy</property> #设置连接后端服务器的密码 中间省略一大段内容…… <propertyname="sqlFunctionFile">${amoeba.home}/conf/functionMap.xml</property> <propertyname="LRUMapSize">1500</property> <propertyname="defaultPool">master</property> #设定默认数据库 <!-- --> <propertyname="writePool">master</property> #设定写数据库 <propertyname="readPool">readPool</property> #设定读数据库 <propertyname="needParse">true</property> </queryRouter> </amoeba:configuration>
这个时候就可以使用/usr/local/amoeba/bin/amoeba这个脚本启动amoeba了
但是启动amoeba报错,原因是栈太小了,最少228k
[root@amoeba ~]# /usr/local/amoeba/bin/amoeba start /usr/local/amoeba/bin/amoeba: line 14: uname:command not found /usr/local/amoeba/bin/amoeba: line 37: dirname:command not found The stack size specified is too small, Specify atleast 228k Error: Could not create the Java Virtual Machine. Error: A fatal exception has occurred. Program willexit.
解决方法:修改amoeba启动文件的57行的-Xss的值为512k
[root@amoeba ~]# vim /usr/local/amoeba/bin/amoeba ULT_OPTS="-server -Xms256m -Xmx256m-Xss512k"
设置完成启动amoeba
[root@amoeba ~]# /usr/local/amoeba/bin/amoeba start log4j:WARN log4j config load completed fromfile:/usr/local/amoeba/conf/log4j.xml 2015-05-26 23:58:05,165 INFO context.MysqlRuntimeContext - Amoeba forMysql current versoin=5.1.45-mysql-amoeba-proxy-2.2.0 log4j:WARN ip access config load completed fromfile:/usr/local/amoeba/conf/access_list.conf 2015-05-26 23:58:05,558 INFO net.ServerableConnectionManager - Amoeba forMysql listening on /0.0.0.0:3306. 2015-05-26 23:58:05,568 INFO net.ServerableConnectionManager - AmoebaMonitor Server listening on /127.0.0.1:55854.
补充:启动的时候可以加&表示在后台运行,如下所示,这样不会占用前台
[root@amoeba ~]# /usr/local/amoeba/bin/amoeba start &
这个时候amoeba就配置完成了
连接amoeba写入数据,验证写请求是否发往Master服务器
[root@amoeba ~]# mysql -uroot -pproxy -h172.16.4.100 mysql> create database test;
master抓包出现写入的数据的sql语句
[root@master ~]# tcpdump -i eth0 -nn -XX tcp port3306 03:33:16.418983 IP 172.16.4.100.39625 >172.16.4.136.3306: Flags [P.], seq 25:52, ack 59, win 245, options [nop,nop,TSval 13988352 ecr 14759402], length 27 0x0000: 000c 29ba d792 000c 2922 c5c2 0800 4500 ..).....)"....E. 0x0010: 004f 5103 4000 4006 8899 ac10 0464 ac10 .OQ.@[email protected].. 0x0020: 0488 9ac9 0cea 98ee 7151 8c41 0a32 8018 ........qQ.A.2.. 0x0030: 00f5 c45d 0000 0101 080a 00d5 7200 00e1 ...]........r... 0x0040: 35ea 1700 0000 0363 7265 6174 6520 6461 5......create.da 0x0050: 7461 6261 7365 2074 6573 7464 62 tabase.testdb
在amoeba查询数据,验证读
mysql> SELECT * FROM mysql.user;
Slave节点出现查询请求,如果再次查询可能在master节点出现,因为读请求是负载均衡的
[root@slave ~]# tcpdump -i eth0 -nn -XX tcp port3306 02:43:15.645879 IP 172.16.4.100.39625 >172.16.4.136.3306: Flags [P.], seq 2565763465:2565763494, ack 2353076083, win336, options [nop,nop,TS val 14201044 ecr 14967401], length 29 0x0000: 000c 29ba d792 000c 2922 c5c2 0800 4500 ..).....)"....E. 0x0010: 0051 5108 4000 4006 8892 ac10 0464 ac10 .QQ.@[email protected].. 0x0020: 0488 9ac9 0cea 98ee 7189 8c41 1773 8018 ........q..A.s.. 0x0030: 0150 cf76 0000 0101 080a 00d8 b0d4 00e4 .P.v............ 0x0040: 6269 1900 0000 0353 454c 4543 5420 2a20 bi.....SELECT.*. 0x0050: 4652 4f4d 206d 7973 716c 2e75 7365 72 FROM.mysql.user