基于开源软件cobar配置分布式数据库

一、cobar简介：

Cobar是关系型数据库的分布式处理系统，它可以在分布式的环境下看上去像传统数据库一样为您提供海量数据服务。

        产品在阿里巴巴B2B公司已经稳定运行了3年以上。

        目前已经接管了3000+个MySQL数据库的schema，为应用提供数据服务。

        据最近统计cobar集群目前平均每天处理近50亿次的SQL执行请求。

cobar官方文档地址：http://code.alibabatech.com/wiki/display/cobar/Home

二、cobar解决的问题以及cobar存在的不足：

1.cobar解决的问题：

   (1).分布式：Cobar的分布式主要是通过将表放入不同的库来实现：

       A. Cobar支持将一张表水平拆分成多份分别放入不同的库来实现表的水平拆分

       B. Cobar也支持将不同的表放入不同的库

       C. 多数情况下，用户会将以上两种方式混合使用

    这里需要强调的是，Cobar不支持将一张表，例如test表拆分成test_1, test_2, test_3.....放在同一个库中，必须将拆分后的表分别放入不同的库来实现分布式。
   (2).HA：在用户配置了MySQL心跳的情况下，Cobar可以自动向后端连接的MySQL发送心跳，判断MySQL运行状况，一旦运行出现异常，Cobar可以自动切换到备机工作。但需要强调的是：

        A. Cobar的主备切换有两种触发方式，一种是用户手动触发，一种是Cobar的心跳语句检测到异常后自动触发。那么，当心跳检测到主机异常，切换到备机， 如果主机恢复了，需要用户手动切回主机工作，Cobar不会在主机恢复时自动切换回主机，除非备机的心跳也返回异常。

        B. Cobar只检查MySQL主备异常，不关心主备之间的数据同步，因此用户需要在使用Cobar之前在MySQL主备上配置双向同步，详情可以参阅MySQL参考手册。

2.存在的不足：

   (1).不支持跨库情况下的join、分页、排序、子查询操作。
   (2).SET语句执行会被忽略，事务和字符集设置除外。
   (3).分库情况下，insert语句必须包含拆分字段列名。
   (4).分库情况下，update语句不能更新拆分字段的值。
   (5).不支持SAVEPOINT操作。
   (6).暂时只支持MySQL数据节点。
   (7).使用JDBC时，不支持rewriteBatchedStatements=true参数设置(默认为false)。
   (8).使用JDBC时，不支持useServerPrepStmts=true参数设置(默认为false)。
   (9).使用JDBC时，BLOB, BINARY, VARBINARY字段不能使用setBlob()或setBinaryStream()方法设置参数。

3.Cobar逻辑层次图

    dataSource：数据源，表示一个具体的数据库连接，与一个物理存在的schema一一对应。
   dataNode：数据节点，由主、备数据源，数据源的HA以及连接池共同组成，可以将一个dataNode理解为一个分库。
   table：表，包括拆分表(如tb1，tb2)和非拆分表。
   tableRule：路由规则，用于判断SQL语句被路由到具体哪些datanode执行。
   schema：cobar可以定义包含拆分表的schema(如schema1)，也可以定义无拆分表的schema(如schema2)。
以上层次关系具有较强的灵活性，用户可以将表自由放置不同的datanode，也可将不同的datasource放置在同一MySQL实例上。

三、cobar配置实例：

1.实验场景描述及拓扑图：

   (1).系统对外提供的数据库名是dbtest,并且其中有两张表tb1和tb2。
   (2).tb1表的数据被映射到物理数据库dbtest1的tb1上。
   (3).tb2表的一部分数据被映射到物理数据库dbtest2的tb2上，另外一部分数据被映射到物理数据库dbtest3的tb2上。
如下图所示：

2.环境准备：

(1).操作系统：linux[red hat linux 6]

(2).mysql：mysql 5.1以上版本[数据库也已经安装好，mysql 5.6.14]

(3).jdk：使用1.6以上版本[默认已经装好，如果不清楚，请看上一篇amoeba博文]

(4).cobar服务器：192.168.1.104:3306   用户名和密码：root/kongzhong

(5).数据库环境描述：

     dbtest1：192.168.1.102:3306/tb1

     dbtest2：192.168.1.102:3307/tb2

     dbtest3：192.168.1.100:3306/tb2

(6).建库脚本如下：[脚本执行就不演示了]

 

1. #创建dbtest1脚本  
2.    drop database if exists dbtest1;  
3.    create database dbtest1;  
4.    use dbtest1;  
5.    #在dbtest1上创建tb1  
6.    create table tb1(  
7.    id    int not null,  
8.    gmt   datetime);  
9.    
10. #创建dbtest2  
11.    drop database if exists dbtest2;  
12.    create database dbtest2;  
13.    use dbtest2;  
14.    #在dbtest2上创建tb2  
15.    create table tb2(  
16.    id    int not null,  
17.    val   varchar(256));  
18.    
19. #创建dbtest3  
20.    drop database if exists dbtest3;  
21.    create database dbtest3;  
22.    use dbtest3;  
23.    #在dbtest3上创建tb2  
24.    create table tb2(  
25.    id    int not null,  
26.    val   varchar(256));  

3.cobar配置：

cobar软件下载：http://www.kuaipan.cn/file/id_119710994921422891.htm

(1).查看jdk环境变量是否正确配置[我这里默认已经配置好，不清楚的，请看上一篇amoeba文章]

 

1. [root@centos ~]# echo $JAVA_HOME  
2. /usr/local/java  

(2).解压cobar压缩包，并进入解压后的目录

 

1. [root@centos ~]# tar -xf cobar-server-1.2.7.tar.gz  
2. [root@centos ~]# cd cobar-server-1.2.7  
3. 在此目录下可以看到bin/conf/lib/logs四个目录，具体目录含义，查看官方文档，我们这里主要使用conf/bin两个目录  

(3).进入conf目录，配置schema.xml文件[注意：schema.xml包含MySQL的IP、端口、用户名、密码等配置，您需要按照注释替换为您的MySQL信息]

 

1. # 这个文件主要配置cobar对外提供的数据库名和表名，以及后面真实数据库的地址和库名，登陆真实数据库的账号密码  
2. [root@centos cobar-server-1.2.7]# cd conf/  
3. [root@centos conf]# vim schema.xml  
4. # 配置如下  
5. <?xml version="1.0" encoding="UTF-8"?>  
6. <!DOCTYPE cobar:schema SYSTEM "schema.dtd">  
7. <cobar:schema xmlns:cobar="http://cobar.alibaba.com/">  
8.    
9.   <!-- schema定义 -->  
10.   <schema name="dbtest" dataNode="dnTest1">  
11.     <table name="tb2" dataNode="dnTest2,dnTest3" rule="rule1" />  
12.   </schema>  
13.    
14.   <!-- 数据节点定义，数据节点由数据源和其他一些参数组织而成。-->  
15.   <dataNode name="dnTest1">  
16.     <property name="dataSource">  
17.       <dataSourceRef>dsTest[0]</dataSourceRef>  
18.     </property>  
19.   </dataNode>  
20.   <dataNode name="dnTest2">  
21.     <property name="dataSource">  
22.       <dataSourceRef>dsTest[1]</dataSourceRef>  
23.     </property>  
24.   </dataNode>  
25.   <dataNode name="dnTest3">  
26.     <property name="dataSource">  
27.       <dataSourceRef>dsTest[2]</dataSourceRef>  
28.     </property>  
29.   </dataNode>  
30.    
31.   <!-- 数据源定义，数据源是一个具体的后端数据连接的表示。-->  
32.   <dataSource name="dsTest" type="mysql">  
33.     <property name="location">  
34.       <location>192.168.1.102:3306/dbtest1</location> <!--注意：替换为您的MySQL IP和Port-->  
35.       <location>192.168.1.102:3307/dbtest2</location> <!--注意：替换为您的MySQL IP和Port-->  
36.       <location>192.168.1.100:3306/dbtest3</location> <!--注意：替换为您的MySQL IP和Port-->  
37.     </property>  
38. # 这里登陆数据库的用户记得要授权  
39.     <property name="user">cobar</property> <!--注意：替换为您的MySQL用户名-->  
40.     <property name="password">kongzhong</property> <!--注意：替换为您的MySQL密码-->  
41.     <property name="sqlMode">STRICT_TRANS_TABLES</property>  
42.   </dataSource>  
43. </cobar:schema>  

(4).rule.xml配置(本文仅以数字类型的id字段作为拆分字段，将数据拆分到两个库中，更详细用法可以参看官方文档)

 

1. # 此文件主要配置拆分字段规则  
2. [root@centos conf]# vim rule.xml  
3. # 配置如下：  
4. <?xml version="1.0" encoding="UTF-8"?>  
5. <!DOCTYPE cobar:rule SYSTEM "rule.dtd">  
6. <cobar:rule xmlns:cobar="http://cobar.alibaba.com/">  
7.   <!-- 路由规则定义，定义什么表，什么字段，采用什么路由算法。-->  
8.   <tableRule name="rule1">  
9.     <rule>  
10.       <columns>id</columns>  
11.       <algorithm><![CDATA[ func1(${id})]]></algorithm>  
12.     </rule>  
13.   </tableRule>  
14.    
15.   <!-- 路由函数定义，应用在路由规则的算法定义中，路由函数可以自定义扩展。-->  
16.   <function name="func1" class="com.alibaba.cobar.route.function.PartitionByLong">  
17.     <property name="partitionCount">2</property>  
18.     <property name="partitionLength">512</property>  
19.   </function>  
20. </cobar:rule>  

(5).server.xml配置[此文件配置对外登陆数据库的账号和密码，此账号密码不需要在数据库里授权]

 

1. [root@centos conf]# vim  server.xml  
2. # 配置如下：  
3. <?xml version="1.0" encoding="UTF-8"?>  
4. <!DOCTYPE cobar:server SYSTEM "server.dtd">  
5. <cobar:server xmlns:cobar="http://cobar.alibaba.com/">  
6.    
7.   <!--定义Cobar用户名，密码-->  
8.   <user name="test">  
9.     <property name="password">test</property>  
10.     <property name="schemas">dbtest</property>  
11.   </user>  
12. </cobar:server>  

(6).分别在三个实例里授权cobar服务器访问mysql数据库

1. 授权语句如下：[三个实例上都需要授权]  
2. grant all privileges on *.* to 'coabr'@'192.168.1.104' identified by 'kongzhong'  

(7).启动cobar服务器

 

1. # 进入cobar安装目录下的bin目录  
2. [root@centos logs]# cd ../bin/  
3. # 执行startup.sh  
4. [root@centos bin]# ./startup.sh  
5. "/usr/local/java/bin/java" -Dcobar.home="/root/cobar-server-1.2.7" -classpath "/root/cobar-server-1.2.7/conf:/root/cobar-server-1.2.7/lib/classes:/root/cobar-server-1.2.7/lib/cobar-server-1.2.7.jar:/root/cobar-server-1.2.7/lib/log4j-1.2.16.jar" -server -Xms1024m -Xmx1024m -Xmn256m -Xss256k -XX:+AggressiveOpts -XX:+UseBiasedLocking -XX:+UseFastAccessorMethods -XX:+DisableExplicitGC -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:+UseCMSCompactAtFullCollection -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=75 com.alibaba.cobar.CobarStartup >> "/root/cobar-server-1.2.7/logs/console.log" 2>&1 &  
6. # 执行完启动命令后看日志目录下的stdout.log，显示如下信息为正常  
7. [root@centos bin]# cd ../logs/  
8. [root@centos logs]# more stdout.log  
9. 22:39:50,737 INFO  ===============================================  
10. 22:39:50,738 INFO  Cobar is ready to startup ...  
11. 22:39:50,741 INFO  Startup processors ...  
12. 22:39:50,788 INFO  Startup connector ...  
13. 22:39:50,804 INFO  Initialize dataNodes ...  
14. 22:39:50,891 INFO  dnTest1:0 init success  
15. 22:39:50,909 INFO  dnTest3:0 init success  
16. 22:39:50,911 INFO  dnTest2:0 init success  
17. .............................  
18. # 查看 cobar进程是否开启  
19. [root@centos logs]# ps -ef |grep cobar  
20. root      5843     1  0 22:17 pts/0    00:00:02 /usr/local/java/bin/java -Dcobar.home=/root/cobar-server-1.2.7 -classpath /root/cobar-server-1.2.7/conf:/root/cobar-server-1.2.7/lib/classes:/root/cobar-server-1.2.7/lib/cobar-server-1.2.7.jar:/root/cobar-server-1.2.7/lib/log4j-1.2.16.jar -server -Xms1024m -Xmx1024m -Xmn256m -Xss256k -XX:+AggressiveOpts -XX:+UseBiasedLocking -XX:+UseFastAccessorMethods -XX:+DisableExplicitGC -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:+UseCMSCompactAtFullCollection -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=75 com.alibaba.cobar.CobarStartup  
21. root      6005  5428  0 22:41 pts/0    00:00:00 grep cobar  
22. # 查看端口是否监听[8066为登陆端口，9066为管理端口]  
23. [root@centos logs]# netstat -tulnap |grep 8066  
24. tcp        0      0 :::8066                     :::*                        LISTEN      5843/java            
25. [root@centos logs]# netstat -tulnap |grep 9066  
26. tcp        0      0 :::9066                     :::*                        LISTEN      5843/java    

(8).登陆cobar测试，和正常登陆mysql类似

 

1. # 指定cobar服务器ip地址，端口，账户，密码  
2. [root@centos logs]# mysql -h192.168.1.104 -P8066 -utest -ptest  
3. Welcome to the MySQL monitor.  Commands end with ; or \g.  
4. Your MySQL connection id is 2  
5. Server version: 5.1.48-cobar-1.2.7 Cobar Server (ALIBABA)  
6. Copyright (c) 2000, 2011, Oracle and/or its affiliates. All rights reserved.  
7. Oracle is a registered trademark of Oracle Corporation and/or its  
8. affiliates. Other names may be trademarks of their respective  
9. owners.  
10. Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.  
11. # 这里就显示了我们对外提供的数据库  
12. mysql> show databases;  
13. +----------+  
14. | DATABASE |  
15. +----------+  
16. | dbtest   |  
17. +----------+  
18. 1 row in set (0.00 sec)  
19. mysql> use dbtest  
20. Database changed  
21. # 显示表  
22. mysql> show tables;  
23. +------------------+  
24. | Tables_in_dbtest |  
25. +------------------+  
26. | tb1              |  
27. | tb2              |  
28. +------------------+  
29. 2 rows in set (0.00 sec)  
30. # 插入数据测试  
31. mysql> insert into tb1 (id, gmt) values (1, now());  
32. mysql> insert into tb2 (id, val) values (1, "part1");  
33. mysql> insert into tb2 (id, val) values (2, "part1"), (513, "part2");  
34. # 查询数据  
35. mysql> select * from tb1;    
36. +----+---------------------+  
37. | id | gmt                 |  
38. +----+---------------------+  
39. |  1 | 2013-12-10 15:04:05 |  
40. +----+---------------------+  
41. 1 row in set (0.01 sec)  
42. # 仔细看下面这几个数据[这个数据时根据规则插入的，详细可以查看rules.xml]  
43. mysql> select * from tb2;    
44. +-----+-------+  
45. | id  | val   |  
46. +-----+-------+  
47. |   1 | part1 |  
48. |   2 | part1 |  
49. | 513 | part2 |  
50. +-----+-------+  
51. 3 rows in set (0.00 sec)  

(9).此时可以到后端真是的数据库服务器查看数据，此时就看到分库分表的效果
# 关闭cobar的命令在 安装目录下有个shutdown.sh 脚本
# 关于cobar的集群，在server.xml配置，个人认为这个集群就是避免cobar的单点故障，这个东西我们将在实际业务运用中再做研究

具体请参照：https://github.com/alibaba/cobar/wiki