Amoeba for MySQL

架构图

amoeba-mysql.png

介绍

1. 分布式数据库前端代理层
2. 主要在应用层访问MySQL的时候充当query 路由功能
3. 对客户端透明
4. 负载均衡
5. 高可用性
6. Query过滤
7. 读写分离
8. 可路由相关的query到目标数据库
9. 可并发请求多台数据库合并结果
10. 在Amoeba上面你能够完成多数据源的高可用、负载均衡、数据切片的功能

缺陷

1. 目前还不支持事务
2. 暂时不支持存储过程
3. 不适合从amoeba导数据的场景或者对大数据量查询的query并不合适（比如一次请求返回10w以上甚至更多数据的场合）
4. 暂时不支持分库分表，amoeba目前只做到分数据库实例，每个被切分的节点需要保持库表结构一致

配置方法

基于 Docker

服务器配置

1. 操作系统：Ubuntu 14.04
2. amoeba - 172.17.0.2
3. master 写服务器 - 172.17.0.4
4. slave 读服务器 - 172.17.0.5
5. test_node 测试服务器 - 172.17.0.3

1. MySQL 主从复制

基于 GTID 的主从复制

1. 配置 master

   • 向 my.cnf 添加配置，然后重启服务

     [mysqld]
     user        = mysql
     pid-file    = /var/run/mysqld/mysqld.pid
     socket      = /var/run/mysqld/mysqld.sock
     port        = 3306
     basedir     = /usr
     datadir     = /var/lib/mysql
     tmpdir      = /tmp
     log-bin     = master-bin
     log-bin-index   = master-bin.index
     server-id   = 1
     gtid-mode   = ON
     log-slave-updates
     enforce-gtid-consistency
     

   • 在 master 上创建一个复制用户

     master> CREATE USER repl_user;
     

   • 给服务用户赋予适当权限

     master> GRANT REPLICATION SLAVE ON *.* TO repl_user IDENTIFIED BY '123456';
     

2. 配置 slave

   • 向 my.cnf 添加配置，然后重启服务

     [mysqld]
     user        = mysql
     pid-file    = /var/run/mysqld/mysqld.pid
     socket      = /var/run/mysqld/mysqld.sock
     port        = 3306
     basedir     = /usr
     datadir     = /var/lib/mysql
     tmpdir      = /tmp
     server-id   = 2
     relay-log-index = slave-relay-bin.index
     relay-log   = slave-relay-bin
     gtid-mode   = ON
     log-slave-updates
     enforce-gtid-consistency
     

   • 连接 master 和 slave

     slave> CHANGE MASTER TO
          -> MASTER_HOST = '172.17.0.4',
          -> MASTER_PORT = 3306,
          -> MASTER_USER = 'repl_user',
          -> MASTER_PASSWORD = '123456',
          -> MASTER_AUTO_POSITION = 1;
     

   • 启动主从复制

     slave> START SLAVE;
     

2. amoeba 配置

1. 环境要求

   Amoeba框架是基于Java SE1.5开发的，建议使用或不低于Java SE 1.5版本。
   

2. 安装 amoeba

   1. 下载地址：http://sourceforge.net/projects/amoeba/files/
   2. 下载后解压到指定目录即可

3. 配置 dbServers.xml

   
   
   
   
               
   
       
               
                       ${defaultManager}
                       64
                       128
   
                       
                       3306
   
                       
                       mysql
   
                       
                       root
   
                       root
               
   
               
                       500
                       500
                       1
                       600000
                       600000
                       true
                       true
                       true
               
       
   
       
               
                       
                       172.17.0.4
               
       
   
       
               
                       
                       172.17.0.5
               
       
   
       
               
                       
                       1
   
                       
                        slave
               
       
   
   
   
   

   有两个部分需要说明一下。

   • mysql节点公共信息设置

     
       ${defaultManager}
       64
       128
     
       
       3306
     
       
       mysql
     
       
       root
     
       root
     
     

     port: 端口号

     schema: 默认连接的数据库，若不存在需要事先创建，否则Amoeba启动报错

     user: mysql用户名

     password: 登录密码

* 真实MYSQL服务器master和slave相关信息

    ```
     
    
            
                    
                     
                    172.17.0.4
            
    
     
    
            
                    
                     
                    172.17.0.5
            
    
      
    
            
                    
                    1

                    
                     slave
            
    
    ```
    **对dbServers.xml文件的配置，主要就是对dbServer节点的配置。其中，readPool节点需要特别注意，因为Amoeba实现读写分离就是根据它来实现。**

3. 配置 amoeba.xml

   
   
   
   
       
   
               
               
                       
                       8066
   
                       
                       
   
                       
                               
                                       128
                                       64
                               
                       
   
                       
                               
   
                                       root
   
                                       root
                                       
                                       
                                               
                                                       ${amoeba.home}/conf/access_list.conf
                                               
                                       
                               
                       
   
               
   
               
   
                       
                       128
   
                       
                       500
   
                       
                       utf8
   
                       
                       60
               
   
       
   
       
       
               
                       com.meidusa.toolkit.net.AuthingableConnectionManager
               
       
   
               
       
               ${amoeba.home}/conf/dbServers.xml
       
   
       
               
                       
                               ${amoeba.home}/conf/rule.xml
                               ${amoeba.home}/conf/ruleFunctionMap.xml
                       
               
               ${amoeba.home}/conf/functionMap.xml
               1500
   
               master
   
               master
               readPool
   
               true
       
   
   

   port: amoeba 服务器端口号

   user: 登录amoeba的用户名

   password: 登录amoeba的密码

   defaultPool: 设置默认数据库节点，一般是 master 节点

   writePool: 设置只读数据库节点

   readPool: 设置只读数据库节点

   在amoeba.xml中，主要完成连接信息和SQL路由配置。在queryRouter节点中，通过配置writePool和readPool可以实现读写分离。配置完成后，重启Amoeba

4. 验证读写分离

   1. 先暂时停掉主从复制
   2. 在 master 节点插入数据，然后通过 amoeba 查询
   3. 在 slave 节点插入数据，然后通过 amoeba 查询