mysql读写分离atlas

https://www.jianshu.com/p/a3610192f7dd
https://blog.51cto.com/a3147972/2094167
https://www.cnblogs.com/yyhh/p/5084844.html#l03
https://blog.51cto.com/13520772/2109337
http://www.361way.com/atlas-mysql/5310.html

Atlas是由 Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基础上，修改了大量bug，添加了很多功能特性。目前该项目在360公司内部得到了广泛应用，很多MySQL业务已经接入了Atlas平台，每天承载的读写请求数达几十亿条。同时，有超过50家公司在生产环境中部署了Atlas，超过800人已加入了我们的开发者交流群，并且这些数字还在不断增加。

一、安装

安装

Atlas官方链接： https://github.com/Qihoo360/Atlas/blob/master/README_ZH.md

Atlas下载链接： https://github.com/Qihoo360/Atlas/releases

#安装
rpm -ivh Atlas-2.2.1.el6.x86_64.rpm 

#它会默认在”/usr/local/mysql-proxy”下给你生成4个文件夹
[root@localhost home]# ll /usr/local/mysql-proxy/
total 16
drwxr-xr-x. 2 root root 4096 Dec 28 10:47 bin
drwxr-xr-x. 2 root root 4096 Dec 28 10:47 conf
drwxr-xr-x. 3 root root 4096 Dec 28 10:47 lib
drwxr-xr-x. 2 root root 4096 Dec 17  2014 log

#bin目录下放的都是可执行文件
#1. “encrypt”是用来生成MySQL密码加密的，在配置的时候会用到
#2. “mysql-proxy”是MySQL自己的读写分离代理
#3. “mysql-proxyd”是360弄出来的，后面有个“d”，服务的启动、重启、停止。都是用他来执行的

#conf目录下放的是配置文件

#1. “test.cnf”只有一个文件，用来配置代理的，可以使用vim来编辑

#lib目录下放的是一些包，以及Atlas的依赖
#log目录下放的是日志，如报错等错误信息的记录

#进入bin目录，使用encrypt来对数据库的密码进行加密，我的MySQL数据的用户名是buck，密码是hello，我需要对密码进行加密
[root@localhost bin]# ./encrypt hello
RePBqJ+5gI4=

#配置Atlas，使用vim进行编辑
[root@localhost conf]# cd /usr/local/mysql-proxy/conf/
[root@localhost conf]# vim test.cnf

在安装之前, 服务器上必须要装有mysql, altas会用到mysql的组件。

在启动时, 可能提示faild start altas of test之类的信息, 解决方法如下

echo ‘/usr/local/mysql/lib/’ >> /etc/ld.so.conf
ldconfig

二、配置说明

[mysql-proxy]

(必备，默认值即可)管理接口的用户名
admin-username = user

(必备，默认值即可)管理接口的密码
admin-password = pwd

(必备，根据实际情况配置)主库的IP和端口
proxy-backend-addresses = 192.168.0.12:3306

(非必备，根据实际情况配置)从库的IP和端口，@后面的数字代表权重，用来作负载均衡，若省略则默认为1，可设置多项，用逗号分隔。如果想让主库也能分担读请求的话，只需要将主库信息加入到下面的配置项中。
proxy-read-only-backend-addresses = 192.168.0.13:3306,192.168.0.14:3306

(必备，根据实际情况配置)用户名与其对应的加密过的MySQL密码，密码使用PREFIX/bin目录下的加密程序encrypt加密，用户名与密码之间用冒号分隔。主从数据库上需要先创建该用户并设置密码（用户名和密码在主从数据库上要一致）。比如用户名为myuser，密码为mypwd，执行./encrypt mypwd结果为HJBoxfRsjeI=。如果有多个用户用逗号分隔即可。则设置如下行所示：(主从复制时候的授权的用户名,./encrypt执行的是授权的用户名对应的密码,如./encrypt 123123)
pwds = myuser: HJBoxfRsjeI=,myuser2:HJBoxfRsjeI=

（必备，默认值即可)Atlas的运行方式，设为true时为守护进程方式，设为false时为前台方式，一般开发调试时设为false，线上运行时设为true
daemon = true

(必备，默认值即可)设置Atlas的运行方式，设为true时Atlas会启动两个进程，一个为monitor，一个为worker，monitor在worker意外退出后会自动将其重启，设为false时只有worker，没有monitor，一般开发调试时设为false，线上运行时设为true
keepalive = true

(必备，根据实际情况配置)工作线程数，推荐设置成系统的CPU核数的2至4倍
event-threads = 4

(必备，默认值即可)日志级别，分为message、warning、critical、error、debug五个级别
log-level = message

(必备，默认值即可)日志存放的路径
log-path = /usr/local/mysql-proxy/log

(必备，根据实际情况配置)SQL日志的开关，可设置为OFF、ON、REALTIME，OFF代表不记录SQL日志，ON代表记录SQL日志，该模式下日志刷新是基于缓冲区的，当日志填满缓冲区后，才将日志信息刷到磁盘。REALTIME用于调试，代表记录SQL日志且实时写入磁盘，默认为OFF
sql-log = OFF

(可选项，可不设置）慢日志输出设置。当设置了该参数时，则日志只输出执行时间超过sql-log-slow（单位：ms)的日志记录。不设置该参数则输出全部日志。
sql-log-slow = 10

(可选项，可不设置）关闭不活跃的客户端连接设置。当设置了该参数时，Atlas会主动关闭经过'wait-timeout'时间后一直未活跃的连接。单位：秒
wait-timeout = 10

(必备，默认值即可)Atlas监听的工作接口IP和端口, 连接altas的地址
proxy-address = 0.0.0.0:1234

(必备，默认值即可)Atlas监听的管理接口IP和端口 admin-address = 0.0.0.0:2345, 连接altas管理服务的地址

(可选项，可不设置)分表设置，此例中person为库名，mt为表名，id为分表字段，3为子表数量，可设置多项，以逗号分隔，若不分表则不需要设置该项，子表需要事先建好，子表名称为表名_数字，数字范围为[0,子表数-1]，如本例里，子表名称为mt_0、mt_1、mt_2
tables = person.mt.id.3

(可选项，可不设置)默认字符集，若不设置该项，则默认字符集为latin1
charset = utf8

(可选项，可不设置)允许连接Atlas的客户端的IP，可以是精确IP，也可以是IP段，以逗号分隔，若不设置该项则允许所有IP连接，否则只允许列表中的IP连接
client-ips = 127.0.0.1, 192.168.1

(可选项，极少需要)Atlas前面挂接的LVS的物理网卡的IP(注意不是虚IP)，若有LVS且设置了client-ips则此项必须设置，否则可以不设置
lvs-ips = 192.168.1.1

三、Altas管理

注意:一定要在主库上给atlas服务器开’账户’@‘ip’ (账户密码是atlas配置文件里的账户密码)
/usr/local/mysql-proxy/bin/mysql-proxyd test start

测试一下Atlas服务器的MySQL状态，要确认它是关闭状态，并且使用mysql命令，进不去数据库
[root@localhost bin]# /etc/init.d/mysqld status
mysqld is stopped
[root@localhost bin]# mysql
ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (2)

确认系统中自带的MySQL进不去了，使用如下命令,执行mysql -h127.0.0.1 -uuser -ppwd -P2345进行连接, 进入altas管理

1. 查询帮助
select * from help;

+----------------------------+---------------------------------------------------------+
| command                    | description                                             |
+----------------------------+---------------------------------------------------------+
| SELECT * FROM help         | 显示帮助                                        |
| SELECT * FROM backends     | 查看后端服务器状态                 |
| SET OFFLINE $backend_id    | 下线后端服务器, $backend_id is backend_ndx's id |
| SET ONLINE $backend_id     | 上线后端服务器, ...                              |
| ADD MASTER $backend        | 添加主服务器, example: "add master 127.0.0.1:3306", ...               |
| ADD SLAVE $backend         | 添加从服务器, example: "add slave 127.0.0.1:3306", ...                |
| REMOVE BACKEND $backend_id | 移除后端服务器example: "remove backend 1", ...                        |
| ADD CLIENT $client         | 添加客户端 example: "add client 192.168.1.2", ...                  |
| REMOVE CLIENT $client      | 移除客户端example: "remove client 192.168.1.2", ...               |
| SAVE CONFIG                | 保存配置到文件                         |
+----------------------------+---------------------------------------------------------+


2. 查看后端mysql状态信息
mysql> select * from backends;
+-------------+-------------------+-------+------+
| backend_ndx | address           | state | type |
+-------------+-------------------+-------+------+
|           1 | 10.211.55.9:3306  | up    | rw   |
|           2 | 10.211.55.10:3306 | up    | ro   |
+-------------+-------------------+-------+------+
2 rows in set (0.00 sec)


3. 下线mysql服务器
mysql> set offline 2
    -> ;
+-------------+-------------------+---------+------+
| backend_ndx | address           | state   | type |
+-------------+-------------------+---------+------+
|           2 | 10.211.55.10:3306 | offline | ro   |
+-------------+-------------------+---------+------+
1 row in set (0.00 sec)

4. 上线mysql服务器
mysql> set online 2;
+-------------+-------------------+---------+------+
| backend_ndx | address           | state   | type |
+-------------+-------------------+---------+------+
|           2 | 10.211.55.10:3306 | unknown | ro   |
+-------------+-------------------+---------+------+
1 row in set (0.00 sec)

Windows平台使用

如果工作接口可以进入了，就可以在Windows平台下，使用Navicat来连接数据库，填写对应的host，Port，用户名，密码就可以

4. 读写分离测试
   这里测试读写分离需要使用到Jmeter了，它是Java写第一套开源的压力测试工具，因为这个比较方便。他有专门测试MySQL的模块，需要使用MySQL的JDBC驱动jar包，配置很简单，东西很好很强大很好用。

Jmeter下载地址：http://jmeter.apache.org/download_jmeter.cgi
MySQL的JDBC ：http://dev.mysql.com/downloads/connector/j/

下载下来后，分别都解压开来，打开Jmeter ( 在bin路面下的jmeter.bat ) ，在测试计划中，导致JDBC的jar包

配置JDBC的驱动

分别做查询与插入语句

配置好了以后，就先运行查询操作，然后分别监控主数据库与从数据库所在机器的流量，来确定是否读写，使用“sar -n DEV 1 10000”命令来监控读写
先来测试写，目前数据库里面一条信息都没有，开启配置好了的Jmeter，进行写入数据测试

主数据库 ( 192.168.246.134 )
从数据库 ( 192.168.246.135 )
可以看到测试插入数据的操作时，主数据库的网卡流量很大，从数据库的流量很小，是应为主数据是主要负责写入的，而从数据库主要是负责同步的。

查看数据库，发现已经插入了6W多条数据了。

进行读取数据的测试，只需要执行查询就好，执行“select *from sbtest;”来查询数据表

主数据库 ( 192.168.246.134 )
从数据库 ( 192.168.246.135 )
可以看到135数据库的流量非常大，134没有什么流量，这下就可以确定了数据是从数据库读取的。已经实现了读写分离。