Amoeba介绍及Amoeba和mysql proxy有区别

1. Amoeba 是什么

Amoeba(变形虫)项目，专注 数据库 proxy 开发。座落与Client、DB Server(s)之间。对客户端透明。具有负载均衡、高可用性、sql过滤、读写分离、可路由相关的query到目标数据库、可并发请求多台数据库合并结果。
假如有一条sql： select * from test.account as t where t.id = 1990000002; 假设account表的那些id从1-1990000002 都有数据，那么你的account表将会多么庞大. 你已经不可能将所有的数据存放到一台数据库上面，这样的数据库执行sql性能将受到严重的影响。假设你将这些数据切分成100台数据库，每台存放20,000,000数据。
只要能够制定一个恰当的数据切分规则，那么amoeba 将轻易解决数据切分并且可以将query语句路由到目标数据库上面执行。

主要解决：

• 降低 数据切分带来的复杂多数据库结构
• 降低 数据切分规则 给应用带来的影响
• 降低db 与客户端的连接数
• 读写分离

相关文章有：

1）.  http://amoeba.sourceforge.net/doc/what_is_amoeba.htm

2）.  http://amoeba.sourceforge.net/doc/amoeba_for_mysql.htm

3）.  http://amoeba.sourceforge.net/doc/amoeba_advance_usage.htm

2. Amoeba 跟 mysql proxy有区别。 

主要是针对数据切分方面。 
在 mysql proxy 上面如果想要读写分离并且 读集群、写集群 机器比较多情况下，用mysql proxy 需要相当大的工作量，目前mysql proxy没有现成的 lua脚本。mysql proxy根本没有配置文件，lua脚本就是它的全部，当然可以是相当方便的。那么同样这种东西需要编写大量的lua脚本才能完成一个复杂的配置。 amoeba目标是走产品化这条路。只需要进行相关的配置就可以满足需求。 


一、Mysql Master/Slave 结构之下的读写分离： 
Master： server1 （可读写） 
slaves：server2、server3、server4（3个平等的数据库。只读/负载均衡） 

amoeba提供读写分离pool相关配置。并且提供负载均衡配置。 
可配置server2、server3、server4形成一个虚拟的 virtualSlave,该配置提供负载均衡、failOver、故障恢复功能

<dbServer name="virtualSlave" virtual="true">
    <poolConfig>
        <className>com.meidusa.amoeba.server.MultipleServerPool</className>
        <!-- 负载均衡参数 1=ROUNDROBIN , 2=WEIGHTBASED -->
        <property name="loadbalance">1</property>

        <!-- 参与该pool负载均衡的poolName列表以逗号分割 -->
        <property name="poolNames">server2,server3,server4</property>
    </poolConfig>
</dbServer>

如果不启用数据切分，那么只需要配置QueryRouter属性 
wirtePool=server1 
readPool=virtualSlave

<queryRouter>
    <className>com.meidusa.amoeba.mysql.parser.MysqlQueryRouter</className>
    <property name="LRUMapSize">1500</property>
    <property name="defaultPool">server1</property>

    <property name="writePool">server1</property>
    <property name="readPool">virtualSlave</property>

    <property name="needParse">true</property>
</queryRouter>

那么遇到update/insert/delete将 query语句发送到 wirtePool，将 select发送到 readPool机器中执行。 

二、数据切分： 
这方面 amoeba显然更加容易了。 

举个数据切分例子： 

select * from user_event where user_id='test' and  gmt_create between Sysdate() -1 and Sysdate() 

如果根据gmt_create 时间进行数据切分，比如 6个月进行切分一次 

amoeba提供利用类似sql表达式进行数据切分： 

规则1：GMT_CREATE > to_date('2008-01-01','yyyy-mm-dd') and GMT_CREATE < to_date('2008-05-31','yyyy-mm-dd') 

规则1对应服务器1 

规则2：GMT_CREATE > to_date('2008-06-01','yyyy-mm-dd') and GMT_CREATE < to_date('2008-12-31','yyyy-mm-dd') 

规则2对应服务器2 


上面的sql的条件 gmt_create 与规则里面的的gmt_create 进行 交集判断，如果存在交集则表示符合规则。 

则会将sql转移到 规则1 的相应的服务器上面执行。 

利用 amoeba写出这种类似规则很容易，但是要想做到数据切分以后可线性扩容，那么这样的规则需要自己根据业务实际情况进行设置。 

amoeba可同时将sql 并发分发到多台服务器、然后将结果合并再反馈给客户端，而且 amoeba内部现成采用无阻塞模式，工作线程是不会等待的,并发请求多台 database server情况下，客户端等待的时间基本上面是性能最差的那台 database server＋ amoeba内部解析协议的时间

本文转载： http://blog.csdn.net/xymyeah/archive/2010/03/31/5431504.aspx