Atlas官方文档: https://github.com/Qihoo360/Atlas/wiki
Atlas是由 Qihoo 360, Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基础上,修改了大量bug,添加了很多功能特性。目前该项目在360公司内部得到了广泛应用,很多MySQL业务已经接入了Atlas平 台,每天承载的读写请求数达几十亿条。
主要功能:
* 读写分离
* 从库负载均衡
* IP过滤
* SQL语句黑白名单
* 自动分表
--------------------------------------------------------------------------------------------------
一、环境
# 本测试环境为一台多实例服务器:3306(主),3308(从)
# CentOS版本:
[root@m01/]# cat /etc/redhat-release
CentOSrelease 6.7 (Final)
[root@m01/]# uname -r
2.6.32-573.el6.x86_64
[root@m01/]# /etc/init.d/iptables stop
[root@m01/]# getenforce
Disabled
二、MySQL数据库创建用户并授权
# MySQL主从已经配置好之后,主从对Atlas进行授权
mysql> GRANT UPDATE,DELETE,INSERT,SELECT ON *.* TO 'atlas'@'%' IDENTIFIED BY 'atlas';
三、Atlas安装
CentOS-5.x下载地址
https://github.com/Qihoo360/Atlas/releases/download/2.0.2/Atlas-2.0.2.el5.x86_64.rpm
rpm -ivh Atlas-2.0.2.el5.x86_64.rpm
CentOS-6.x下载地址
https://github.com/Qihoo360/Atlas/releases/download/2.2.1/Atlas-2.2.1.el5.x86_64.rpm
rpm -ivh Atlas-2.2.1.el5.x86_64.rpm
Atlas安装后的文件路径
/usr/local/mysql-proxy/
四、Atlas配置
1. 加密MySQL用户密码,获取的加密串填写到配置文件的pwds参数中。
/usr/local/mysql-proxy/bin/encrypt atlas
KsWNCR6qyNk=
2. 编辑配置文件
查看源配置文件内容
[root@db01 ~]# egrep -v "^#|^$" /usr/local/mysql-proxy/conf/test.cnf
[mysql-proxy]
admin-username = user
admin-password = pwd
proxy-backend-addresses = 127.0.0.1:3306
pwds = user1:+jKsgB3YAG8=, user2:GS+tr4TPgqc=
daemon = true
keepalive = true
event-threads = 8
log-level = message
log-path = /usr/local/mysql-proxy/log
proxy-address = 0.0.0.0:1234
admin-address = 0.0.0.0:2345
本文编辑的配置文件内容如下:
[root@db01 conf]# vim test.cnf [mysql-proxy] admin-username = atlas admin-password = atles proxy-backend-addresses = 172.168.1.51:3306 proxy-read-only-backend-addresses = 172.16.1.51:3308@1 pwds = atlas:KsWNCR6qyNk= daemon = true keepalive = true event-threads = 8 log-level = message log-path = /usr/local/mysql-proxy/log sql-log = ON sql-log-slow = 1000 instance = test proxy-address = 0.0.0.0:1234 admin-address = 0.0.0.0:2345 charset = utf8
配置文件中参数说明(带#号的为非必需的配置项目)
管理接口的用户名
admin-username = user
管理接口的密码
admin-password = pwd
Atlas后端连接的MySQL主库的IP和端口,可设置多项,用逗号分隔
proxy-backend-addresses = 172.16.1.51:3306
Atlas后端连接的MySQL从库的IP和端口,@后面的数字代表权重,用来作负载均衡,若省略则默认为1,可设置多项,用逗号分隔
proxy-read-only-backend-addresses = 172.16.1.51:3306@1
用户名与其对应的加密过的MySQL密码,密码使用PREFIX/bin目录下的加密程序encrypt加密,下行的user1和user2为示例,将其替换为你的MySQL的用户名和加密密码!
pwds = atlas:KsWNCR6qyNk=
设置Atlas的运行方式,设为true时为守护进程方式,设为false时为前台方式,一般开发调试时设为false,线上运行时设为true,true后面不能有空格。
daemon = true
设置Atlas的运行方式,设为true时Atlas会启动两个进程,一个为monitor,一个为worker,monitor在worker意外退出后会自动将其重启,设为false时只有worker,没有monitor,一般开发调试时设为false,线上运行时设为true,true后面不能有空格。
keepalive = true
工作线程数,对Atlas的性能有很大影响,可根据情况适当设置
event-threads = 8
日志级别,分为message、warning、critical、error、debug五个级别
log-level = message
日志存放的路径
log-path = /usr/local/mysql-proxy/log
SQL日志的开关,可设置为OFF、ON、REALTIME,OFF代表不记录SQL日志,ON代表记录SQL日志,REALTIME代表记录SQL日志且实时写入磁盘,默认为OFF
# sql-log = OFF
慢日志输出设置。当设置了该参数时,则日志只输出执行时间超过sql-log-slow(单位:ms)的日志记录。不设置该参数则输出全部日志。
# sql-log-slow = 8
实例名称,用于同一台机器上多个Atlas实例间的区分
# instance = test
Atlas监听的工作接口IP和端口
proxy-address = 0.0.0.0:1234
Atlas监听的管理接口IP和端口
admin-address = 0.0.0.0:2345
分表设置,此例中person为库名,mt为表名,id为分表字段,3为子表数量,可设置多项,以逗号分隔,若不分表则不需要设置该项
# tables = person.mt.id.3
默认字符集,设置该项后客户端不再需要执行SET NAMES语句
charset = utf8
允许连接Atlas的客户端的IP,可以是精确IP,也可以是IP段,以逗号分隔,若不设置该项则允许所有IP连接,否则只允许列表中的IP连接
# client-ips = 127.0.0.1, 192.168.1
Atlas前面挂接的LVS的物理网卡的IP(注意不是虚IP),若有LVS且设置了client-ips则此项必须设置,否则可以不设置
# lvs-ips = 192.168.1.1
五:启动Atlas
启动
[root@db01 conf]# /usr/local/mysql-proxy/bin/mysql-proxyd test start OK: MySQL-Proxy of test is started [root@db01 conf]# ps -ef | grep mysql-proxy root 21447 1 0 05:45 ? 00:00:00 /usr/local/mysql-proxy/bin/mysql-proxy --defaults-file=/usr/local/mysql-proxy/conf/test.cnf root 21448 21447 0 05:45 ? 00:00:00 /usr/local/mysql-proxy/bin/mysql-proxy --defaults-file=/usr/local/mysql-proxy/conf/test.cnf root 21517 21324 0 06:06 pts/0 00:00:00 grep mysql-proxy
关闭
/usr/local/mysql-proxy/bin/mysql-proxyd test stop
注意:
运行文件是:mysql-proxyd(不是mysql-proxy)。
test是conf目录下配置文件的名字,也是配置文件里instance项的名字(无后缀),三者需要统 一。(test.cnf == instance的test == 启动使用的test)
可以使用ps -ef|grep mysql -proxy查看Atlas是否已经启动或停止。
六、测试
mysql -h10.0.0.51 -P1234 -uatlas -patlas -e "select user,host from mysql.user;" mysql -h127.0.0.1 -P2345 -uuser -ppwd mysql> select * from help; mysql> SELECT * FROM backends; +-------------+------------------+-------+------+ | backend_ndx | address | state | type | +-------------+------------------+-------+------+ | 1 | 172.16.1.51:3306 | up | rw | | 2 | 172.16.1.51:3307 | up | ro | +-------------+------------------+-------+------+
测试读写分离,在后端节点执行
#主库只接收写入请求 tcpdump -i any -s 0 -A -n -p port 3306 and src 172.16.1.51|grep -i -E 'SELECT|INSERT|UPDATE|DELETE' #从库只接受读取请求 tcpdump -i any -s 0 -A -n -p port 3308 and src 172.16.1.51|grep -i -E 'SELECT|INSERT|UPDATE|DELETE
七、Atlas参数备注
instance参数:
同一台机器上的多个Atlas实例,使用不同的端口,对应不同数据库,使用各自的配置文件
默认的黑白名单:
不带where的delete会屏蔽,"sleep"会屏蔽
备注:
1.03版本已经支持set autocommit语句,另外对于python来说需要在连接上后执行一句conn.autocommit(True)
pwds参数
配置MySQL用户名和对应的加密过的MySQL密码,密码使用/usr/local/mysql-proxy/bin/encrypt程序进行加
密,用户名和密码用冒号分开,可以使用多个用户,用逗号空格分隔。
client-ips参数
在引入中间层后,因为连接DB的是Atlas,所以DB改为对部署Atlas的机器的IP作访问授权,而client-ips参
数用来控制连接Atlas的客户端的IP
lvs-ips参数
比如LVS后面挂接两台Atlas,分别叫A和B,LVS去循环检测A和B的存活,当Atlas检测到是LVS的IP来请求时
,根据在线或不在线状态,向LVS的检测脚本返回不同的值,这里是设置Atlas前面的LVS的物理网卡的IP。
八、Atlas管理接口使用
语法:mysql -u管理用户 -p管理密码 -h127.0.0.1 -P管理端口
mysql -uuser -ppwd -h127.0.0.1 -P2345
查看管理语句参数:
mysql> select * from help;
查看DB状态:
mysql> select * from backends; +-------------+-------------------+-------+------+------+-------------------+ | backend_ndx | address | state | type | uuid | connected_clients | +-------------+-------------------+-------+------+------+-------------------+ | 1 | 172.16.1.20:3306 | up | rw | NULL | 0 | | 2 | 172.16.1.30:3306 | up | ro | NULL | 0 | +-------------+-------------------+-------+------+------+-------------------+
备注:
connected_clients这个参数有bug,不能正常显示。
九、Atlas常见问题
1、Atlas多实例启动问题:
如果配置文件中instance = instance,启动参数如下:
/usr/local/mysql-proxy/bin/mysql-proxyd instance start
如果配置文件中instance = test,启动参数如下:
/usr/local/mysql-proxy/bin/mysql-proxyd test start
可以使用mysql-proxy命令启动,
/usr/local/mysql-proxy/bin/mysql-proxy --defaults-file=/usr/local/mysql-proxy/conf/test.cnf
备注:
使用脚本启动时,注意区分bin目录下面的mysql-proxy 和 mysql-proxyd 。
2、使用Atlas时出现"too many connections"
原因是DB的max_connections设置过小
3、在管理接口发现后端DB的状态为down
a、后端DB是否已对Atlas所在机器的IP授权
b、推荐DB的my.cnf里的max_connect_errors设置为100000,默认值是10,值太小会影响Atlas对DB的存活检测,可以修 改my.cnf文件的max_connect_errors参数,或者用下面指令直接修改;
mysql> set global max_connect_errors=100000;
4、主从同步延迟,不能马上读数据,可以在SQL语句前增加 /*master*/ ,就可以将读请求强制发往主库。