docker+atlas+mysql实现读写分离

1、引言

引言：在大数据量，高并发等场景下，对数据库压力越来越大，通过优化sql，合理索引，分库分表等措施已经无法满足数据处理、存储要求，因此通过代理和添加节点实现数据库主从复制、读写分离提升性能是很好的一个选择。网上关于atlas实现数据库读写分离的文章少之又少，而且雷同，没有详细的执行步骤和结果，本文尽可能详细介绍。

环境：Mac 、Docker version 19.03.13

2、准备

1、Docker

1、why Docker

菜鸟教程：Docker 是一个开源的应用容器引擎，基于 Go 语言并遵从 Apache2.0 协议开源。Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口（类似 iPhone 的 app）,更重要的是容器性能开销极低。

简单来说，docker镜像拉取、部署非常方便，对本机文件不会造成影响，轻量级，简易部署，可以通过远程api接口创建和管理容器。

2、Docker安装

本文暂不介绍docker安装，linux和mac安装较为简单，windows安装稍微麻烦，要分清家庭版还是专业版，需要下载不同的Desktop版，踩过坑…

2、mysql主从复制

1、概述

实现读写分离的前提是主从复制，首先我们先完成搭建mysql数据库的主从复制，这里选择两个节点，一主一从。

参考：链接

2、搭建步骤

• 检查Docker

docker -v
#Docker version 19.03.13, build xxx

• 拉取mysql镜像

docker pull mysql:5.7

• 创建master容器

docker run -p 3339:3306 --name mymysql -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.7
#3339:3306 将docker容器的3306端口映射到本地的3399端口，要非常注意，尤其是在之后的配置！！
#–name 给容器命名，mymysql；
#-d 表示容器在后台运行，后面跟镜像名称

• 创建slave容器

docker run -p 3340:3306 --name mymysql-slave -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.7

• 查看容器运行

docker ps 
#成功会输出两个正在运行的mysql容器信息，分别为mymysql和mymysql-slave

• 查看两个容器的ip

docker inspect --format='{
     {.NetworkSettings.IPAddress}}' mymysql
#172.17.0.2
docker inspect --format='{
     {.NetworkSettings.IPAddress}}' mymysql-slave
#172.17.0.3

• 进入到容器里面，开始mysql配置

docker exec -it mymysql /bin/bash

• 安装vim

apt-get update
apt-get install vim

• 进入/etc/mysql，编辑my.cnf，添加以下内容保存退出

[mysqld]
server-id=1
log-bin=mysql-bin

• 重启服务,重新启动容器

service mysql restart
docker start mymysql

• 同样步骤配置slave

[mysqld]
## 设置server_id,注意要唯一
server-id=2
## 开启二进制日志功能，以备Slave作为其它Slave的Master时使用
log-bin=mysql-slave-bin   
## relay_log配置中继日志
relay_log=edu-mysql-relay-bin 

• 进入master容器内，启动mysql，键入密码123456

mysql -uroot -p

CREATE USER 'slave'@'%' IDENTIFIED BY '123456';
GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'slave'@'%';

show master status;

file和position，这两个值等会在配置slave的时候需要用到

• 退出，进入到slave库的mysql交互环境

change master to master_host='172.17.0.2', master_user='slave', master_password='123456', master_port=3306, master_log_file='mysql-bin.000002', master_log_pos= 154, master_connect_retry=60;

注意master_log_file和master_log_pos要与上面master的一样，配置中出了问题，重新启动了也要重新看一下，一定要保持一致！

配置项内容：

master_log_file就是我们master当前使用的binlog文件名，就是上图中的file名
master_log_pos=154 ，就是值记录最大位置
新建的时候master的binlog文件名可能是mysql-bin.000001，照着里面写就好了
master_host ：Master的地址，指的是容器的独立ip
master_port：Master的端口号，指的是容器的端口号
master_user：用于数据同步的用户
master_password：用于同步的用户的密码
master_log_file：指定 Slave 从哪个日志文件开始复制数据，即上文中提到的 File 字段的值
master_log_pos：从哪个 Position 开始读，即上文中提到的 Position 字段的值
master_connect_retry：如果连接失败，重试的时间间隔，单位是秒，默认是60秒

• 在Slave 中的mysql终端执行

show slave status \G;

结果
 Slave_IO_State: Waiting for master to send event
                  Master_Host: 172.17.0.2
                  Master_User: slave
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000001
          Read_Master_Log_Pos: 2295
               Relay_Log_File: edu-mysql-relay-bin.000003
                Relay_Log_Pos: 611
        Relay_Master_Log_File: mysql-bin.000001
            Slave_IO_Running: No
            Slave_SQL_Running: No

Slave_IO_Running: No
Slave_SQL_Running: N0

开始是两个no，这是正常情况，因为主从复制还未开始，
现在我们使用，启动主从备份

start slave;

此时应该就是两个yes了！

3、检测

1、在主库内新建数据库并插入数据，发现从库也有了对应内容

2、在本地用navicat链接一下主库从库，注意ip地址是查询得到的，端口号是对外映射的端口号！！如果这一步能成功，才可以继续做之后的Atlas代理读写分离，个人由于配置在此踩坑最终导致从头再来。

3、读写分离

1、前提

已经搭建好可以对外服务的mysql主从复制集群。

参考：链接

2、搭建步骤

• 拉取Atlas镜像

docker run -it --name atlas -v /usr/local/mysql-proxy/conf:/usr/local/mysql-proxy/conf -p 1234:1234 -p 2345:2345  mybbcat/docker-360atlas /bin/bash

• 进入/usr/local/mysql-proxy/conf修改test.cnf

[mysql-proxy]

#带#号的为非必需的配置项目

#管理接口的用户名
admin-username = root

#管理接口的密码
admin-password = 123456

#Atlas后端连接的MySQL主库的IP和端口，可设置多项，用逗号分隔
proxy-backend-addresses = 172.17.0.2:3306

#Atlas后端连接的MySQL从库的IP和端口，@后面的数字代表权重，用来作负载均衡，若省略则默认为1，可设置多项，用逗号分隔
proxy-read-only-backend-addresses = 172.17.0.3:3306

#用户名与其对应的加密过的MySQL密码，密码使用PREFIX/bin目录下的加密程序encrypt加密
pwds = root:DAJnl8cVzy8=

#设置Atlas的运行方式，设为true时为守护进程方式，设为false时为前台方式，一般开发调试时设为false，线上运行时设为true,true后面不能有空格。
daemon = true

#设置Atlas的运行方式，设为true时Atlas会启动两个进程，一个为monitor，一个为worker，monitor在worker意外退出后会自动将其重启，设为false时只有worker，没有monitor，一般开发调试时设为false，线上运行时设为true,true后面不能有空格。
keepalive = true

#工作线程数，对Atlas的性能有很大影响，可根据情况适当设置
event-threads = 8

#日志级别，分为message、warning、critical、error、debug五个级别
log-level = message

#日志存放的路径
log-path = /usr/local/mysql-proxy/log

#SQL日志的开关，可设置为OFF、ON、REALTIME，OFF代表不记录SQL日志，ON代表记录SQL日志，REALTIME代表记录SQL日志且实时写入磁盘，默认为OFF
sql-log = REALTIME

#慢日志输出设置。当设置了该参数时，则日志只输出执行时间超过sql-log-slow（单位：ms)的日志记录。不设置该参数则输出全部日志。
#sql-log-slow = 10

#实例名称，用于同一台机器上多个Atlas实例间的区分
instance = test

#Atlas监听的工作接口IP和端口
proxy-address = 0.0.0.0:1234

#Atlas监听的管理接口IP和端口
admin-address = 0.0.0.0:2345

#分表设置，此例中person为库名，mt为表名，id为分表字段，3为子表数量，可设置多项，以逗号分隔，若不分表则不需要设置该项
#tables = person.mt.id.3

#默认字符集，设置该项后客户端不再需要执行SET NAMES语句
charset = utf8

#允许连接Atlas的客户端的IP，可以是精确IP，也可以是IP段，以逗号分隔，若不设置该项则允许所有IP连接，否则只允许列表中的IP连接
#client-ips = 127.0.0.1, 192.168.1

#Atlas前面挂接的LVS的物理网卡的IP(注意不是虚IP)，若有LVS且设置了client-ips则此项必须设置，否则可以不设置
#lvs-ips = 192.168.1.1

• 进入容器、

docker exec -it atlas /bin/bash

• 进入/usr/local/mysql-proxy/bin目录，执行下面的命令启动、重启或停止atlas

./mysql-proxyd test start      #启动Atlas。
./mysql-proxyd test restart    #重启Atlas。
./mysql-proxyd test stop       #停止Atlas。

说明

1、master、slave的ip地址和端口号是一个大坑，我配置成了映射端口，导致Atlas测试链接可以成功，但是一直报2013错误，修改为3306端口就正确了！

2、密码加密，PREFIX/bin目录，就是Atlasl的安装目录:/usr/local/mysql-proxy/bin 执行 ./encrypt ‘123456’

3、测试

1、使用Navicat链接atlas，使用对应的ip和映射的端口号，本文是1234，如果链接成功，执行创建数据库和操作数据，观察master和slave节点的变化，如果同步变化则搭建成功，如果失败，检查搭建环境的正确性

2、执行 tail -f /usr/local/mysql-proxy/log/sql_test.log验证查看读和写的操作是否正确

4、思考

• 为什么要主从复制：
  • 当主数据库出现问题时，可以当从数据库代替主数据库，可以避免数据的丢失。
  • 可以进行读写分离
• 为什么要读写分离：
  • 避免从数据库进行写操作而导致的主从数据库数据不一致的情况，因为当主从数据库数据不一致时，那么从数据库最主要的备份任务就没有意义了。
  • 减轻主数据库的压力。因为进行写操作更耗时，所以如果不进行读写分离的话，写操作将会影响到读操作的效率。
• Atlas：
  • 主要功能：读写分离、从库负载均衡、.IP过滤、自动分表、DBA可平滑上下线DB、自动摘除宕机的DB
  • 相对于官方MySQL-Proxy的优势：将主流程中所有Lua代码用C重写，Lua仅用于管理接口、重写网络模型、线程模型、实现了真正意义上的连接池、.优化了锁机制，性能提高数十倍
• PHP是如何与Mysql交互的？