实验环境
hostname ip
master-db 192.168.0.1
slave-db1 192.168.0.2
slave-db2 192.168.0.3
amoeba 192.168.0.123
一、 Amoeba简介
Amoeba 是阿里巳巳的技术陈思儒开始的一个开源项目,它是分布式数据库Proxy解决方案。Amoeba框架是基于Java SE 1.5开发的,在安装Amoeba前需要先安装Java环境。经验证,Amoeba在Java SE 1.5和Java SE 1.6上能正常运行。
Amoeba的产品:
Amoeba for MySQL
Amoeba for Aladdin
Amoeba for MongoDB
以下主要介绍Amoeba for mysql:
Amoeba for MySQL致力于MySQL的分布式数据库前端代理层,它主要在应用层访问MySQL的时候充当query 路由功能,与注 分布式数据库 proxy 开发。座落不Client、DB Server(s)之间。对客户端透明。具有负载均衡、高可用性、Query过滤、读写分离、可路由相关的query到目标数据库、可并发请求多台数据库合并结果。 在Amoeba上面你能够完成多数据源的高可用、负载均衡、数据切片的功能。目前在很多企业的生产线上面使用。
那么Amoeba for mysql 对客户端程序来说是什么呢? 我们就当它是mysql吧,它是一个虚拟的mysql,对外提供mysql协议。客户端连接amoeba就象连接mysql一样。在amoeba内部需要配置相关的认证属性。
Amoeba for mysql与Mysql Proxy 的比较:
在MySQL proxy 6.0版本 上面如果想要读写分离并丏 读集群、写集群 机器比较多情况下,用mysql proxy 需要相当大的工作量,目前mysql proxy没有现成的 lua脚本。mysql proxy根本没有配置文件, lua脚本就是它的全部,当然lua是相当方便的。那么同样这种东西需要编写大量的脚本才能完成一 个复杂的配置。而Amoeba for Mysql只需要进行相关的配置就可以满足需求。
Amoeba for MySQL的优点:
1. 降低数据切分带来的复杂多数据库结构
2. 提供切分规则并降低数据切分规则给应用带来的影响
3. 降低db 不客户端的连接数
4. 读写分离
Amoeba for MySQL的缺点:
1. Amoeba for MySQL不支持事务:其实,分布式事务的问题是所有数据库中间层普遍面临的问题,不是Amoeba独有的问题;目前通常的解决办法是,将事务拆分成几个单数据库内的小事务,由应用程序进行总控。
2. Amoeba for MySQL不支持跨节点JOIN:同样,这个问题也不是Amoeba独有的,通常的解决办法是由应用程序先从一个节点取出数据,然后由应用程序去其他节点JOIN。
3. Amoeba for MySQL不支持跨节点排序:这个问题也不是Ameoba独有的,通常的解决办法是由应用程序从多个节点中取出数据,然后进行排序。
4. Amoeba for MySQL不适合返回大量(超过10万)数据的查询。
5. Amoeba for MySQL不支持分库分表,只能做到分数据库实例。
为何使用Amoeba :
随着传统的数据库技术日趋成熟、计算机网络技术的飞速发展和应用范围的扩充,数据库应用已经普遍建立于计算机网络之上。这时集中式数据库系统表现出它的不足:集中式处理,势必造成性能瓶颈;应用程序集中在一台计算机上运行,一旦该计算机发生故障,则整个系统受到影响,可靠性不高;集中式处理引起系统的规模和配置都不够灵活,系统的可扩充性差。在这种形势下,集中式数据库将向分布式数据库发展。而Amoeba的透明、简易配置及多个优点使其成为分布式数据库代理产品中的优秀选择。
二、 安装和运行Amoeba
1. Amoeba for MySQL 架构:
2. 验证Java的安装
Amoeba框架是基于Java SE1.5开发的,建议使用Java SE1.5以上的版本。
# java -version
java version "1.6.0_35"
Java(TM) SE Runtime Environment (build 1.6.0_35-b10)
Java HotSpot(TM) 64-Bit Server VM (build 20.10-b01, mixed mode)
注:JDK的安装方法不再阐述,不会的可以参考:
http://304076020.blog.51cto.com/7503470/1642482 #安装JDK部分。
3. 安装MySQL数据库及配置主从复制部分此处不再阐述,不会者可参考:
http://304076020.blog.51cto.com/7503470/1674911
4. 下载Amoeba
http://down.51cto.com/data/720175
5. 安装Amoeba
# unzip amoeba-mysql-3.0.4-BETA-distribution.zip
# mv amoeba-mysql-3.0.4-BETA /usr/local/amoeba
三、 配置Amoeba for MySQL:
Amoeba for MySQL的使用是很简单的,主要是通过xml文件来实现的。
1. 配置文件介绍:
(1.) dbServers.xml 想象Amoeba作为数据库代理层,它一定会和很多数据库保持通信,因此它必须知道由它代理的数据库如何连接,比如最基础的:主机IP、端口、Amoeba使用的用户名和密码等等。这些信息存储在$AMOEBA_HOME/conf/dbServers.xml中。
(2.) rule.xml Amoeba为了完成数据切分提供了完善的切分规则配置,为了了解如何分片数据、如何将数据库返回的数据整合,它必须知道切分规则。不切分规则相关的信息存储在$AMOEBA_HOME/conf/rule.xml中。
(3.) functionMap.xml 当我们书写SQL来操作数据库的时候,常常会用到很多不同的数据库函数,比如:UNIX_TIMESTAMP()、SYSDATE()等等。这些函数如何被Amoeba解析呢?$AMOEBA_HOME/conf/functionMap.xml描述了函数名和函数处理的关系。
(4.) ruleFunctionMap.xml 对$AMOEBA_HOME/conf/rule.xml进行配置时,会用到一些我们自己定义的函数,比如我们需要对用户ID求HASH值来切分数据,这些函数在$AMOEBA_HOME/conf/ruleFunctionMap.xml中定义。
(5.) access_list.conf Amoeba可以制定一些可访问以及拒绝访问的主机IP地址,这部分配置在$AMOEBA_HOME/conf/access_list.conf中。
(6.) log4j.xml Amoeba允许用户配置输出日志级别以及方式,配置方法使用log4j的文件格式,文件是$AMOEBA_HOME/conf/log4j.xml。 其中,我们主要用到dbServer.xml 和 amoeba.xml 。
2. dbServer.xml 的配置:
3. amoeba.xml 配置:
客户端连接Amoeba时所绑定的IP地址、端口、用户名和密码。及IP访问限制。
以下内容是定义读写分离:
通过以上简单配置,已经可以实现数据库的读写分离了。
四、 测试
#/usr/local/amoeba/bin/launcher & (也可通过nohup后台启动,戒者自己写一个脚本来启动。 )
启动的Amoeba默认端口为8066
在客户端连接Amoeba测试:
# mysql -uroot –p123 -h 192.168.0.123 --port 8066
mysql> show databases;
mysql> CREATE DATABASE test1; \\ 创建数据库,之后在主从库分别查看 通过Amoeba登录,进行数据的查询及揑入更新等操作,并查看mysql-log日志,可发现所执行的INSERT 、UPDATE、DELETE等操作在主库server1上操作,SELECT查询语句在从库server2和server3上执行。