前言:
今天主要介绍一下主从同步和读写分离,上篇文章https://www.jianshu.com/p/3c05f229888e也介绍了一些关于主从同步的原理以及用途。
MySQL主从同步原理分为以下三步:也可以看图理解(重要)
- master将改变记录到二进制日志(binary log)中(这些记录叫做二进制日志事件,binary log events);
- slave将master的binary log events拷贝到它的中继日志(relay log);
- slave重做中继日志中的事件,将改变反映它自己的数据。
使用主从同步的优点:
- 提高读写性能
因为主从同步之后,数据写入和读取是在不同的服务器上进行的,而且可以通过增加从服务器来提高数据库的读取性能。
- 提高数据安全
因为数据已复制到从服务器,可以在从服务器上备份而不破坏主服务器相应数据。
接下来关于主从服务器的安装 温馨提示:
主服务器:ubuntu操作系统中的MySQL。
从服务器:Docker容器中的MySQL。
一、配置从机
1.获取MySQL镜像
- 主从同步尽量保证多台MySQL的版本相同或相近
sudo docker image pull mysql:5.7.22
或
sudo docker load -i 文件路径/本地压缩文件名.tar
2.指定MySQL从机配置文件
- 在使用Docker安装运行MySQL从机之前,需要准备好从机的配置文件。
- 为了快速准备从机的配置文件,我们直接把主机的配置文件拷贝到从机中。
cd ~
mkdir mysql_slave
cd mysql_slave
mkdir data
cp -r /etc/mysql/mysql.conf.d ./
3.修改MySQL从机配置文件
- 编辑 ~/mysql_slave/mysql.conf.d/mysqld.cnf文件。
- 由于主从机都在同一个电脑中,所以我们选择使用不同的端口号区分主从机,从机端口号是8306。(有条件的情况下可用两台服务器)
# 从机端口号
port = 8306
# 关闭日志
general_log = 0
# 从机唯一编号
server-id = 2
4.Docker安装运行MySQL从机
- MYSQL_ROOT_PASSWORD:创建 root 用户的密码为 mysql。
sudo docker run --name mysql-slave -e MYSQL_ROOT_PASSWORD=mysql -d --network=host -v /home/python/mysql_slave/data:/var/lib/mysql -v /home/python/mysql_slave/mysql.conf.d:/etc/mysql/mysql.conf.d mysql:5.7.22
5.测试从机是否创建成功
mysql -uroot -pmysql -h 127.0.0.1 --port=8306
二、配置主机(ubuntu中MySQL)
1,配置文件如有修改,需要重启主机。
sudo service mysql restart
#开启日志
general_log_file = /var/log/mysql/mysql.log
general_log = 1
# 主机唯一编号
server-id = 1
# 二进制日志文件
log_bin = /var/log/mysql/mysql-bin.log
2.从机备份主机原有数据
- 在做主从同步时,如果从机需要主机上原有数据,就要先复制一份到从机。
# 1. 收集主机原有数据
$ mysqldump -uroot -pmysql --all-databases --lock-all-tables > ~/master_db.sql
# 2. 从机复制主机原有数据
$ mysql -uroot -pmysql -h127.0.0.1 --port=8306 < ~/master_db.sql
3.主从同步实现
- 1.创建用于从服务器同步数据的帐号
# 登录到主机
$ mysql –uroot –pmysql
# 创建从机账号
$ GRANT REPLICATION SLAVE ON *.* TO 'slave'@'%' identified by 'slave';
# 刷新权限
$ FLUSH PRIVILEGES;
- 2.展示ubuntu中MySQL主机的二进制日志信息
SHOW MASTER STATUS; 状态如下图
- 3.Docker中MySQL从机连接ubuntu中MySQL主机
# 登录到从机
mysql -uroot -pmysql -h 127.0.0.1 --port=8306
# 从机连接到主机
change master to master_host='127.0.0.1', master_user='slave', master_password='slave',master_log_file='mysql-bin.000250', master_log_pos=990250;
# 开启从机服务
start slave;
# 展示从机服务状态
show slave status \G
测试:
在主机中新建一个数据库后,直接在从机查看是否存在。
如果能看到以上信息,恭喜你,已经安装好。
Django实现MySQL读写分离
1. 增加slave数据库的配置
DATABASES = {
'default': { # 写(主机)
'ENGINE': 'django.db.backends.mysql', # 数据库引擎
'HOST': '192.168.103.158', # 数据库主机
'PORT': 3306, # 数据库端口
'USER': 'test', # 数据库用户名
'PASSWORD': '123456', # 数据库用户密码
'NAME': 'students' # 数据库名字
},
'slave': { # 读(从机)
'ENGINE': 'django.db.backends.mysql',
'HOST': '192.168.103.158',
'PORT': 8306,
'USER': 'root',
'PASSWORD': 'mysql',
'NAME': 'class'
}
}
2. 创建和配置数据库读写路由
- 1.创建数据库读写路由
在app.utils.db_router.py中实现读写路由
class MasterSlaveDBRouter(object):
"""数据库读写路由"""
def db_for_read(self, model, **hints):
"""读"""
return "slave"
def db_for_write(self, model, **hints):
"""写"""
return "default"
def allow_relation(self, obj1, obj2, **hints):
"""是否运行关联操作"""
return True
- 2.配置数据库读写路由
DATABASE_ROUTERS = ['app.utils.db_router.MasterSlaveDBRouter']
扩展部分:
1,数据库的分布式和主从的区别
主从并没有像集群那样分三种节点,只有主和从两种,而且主从之间是通过mysql的replication方式来保证数据的一致性。相对mysql cluster的数据同步方式来讲是异步的。
主从复制的过程中,若从数据库中出现其中一条数据同步失败(即relay log中的语句有其中一条写操作语句执行失败),则后面的数据无法继续同步(relay log中后面的写操作语句无法继续执行下去),必须得解决掉或跳过这个执行失败的语句(需要人为去操作),这样就不能保证所有的从数据库的数据一致了。而mysql cluster则不然,若其中只要有一个节点的写操作失败,则其他所有节点针对这一同步均会更新失败,以保证所有节点的数据一致性。
2,高可用集群与分布式数据库的区别
分布式数据库
百度百科的概念为:分布式数据库系统通常使用较小的计算机系统,每台计算机可单独放在一个地方,每台计算机中都可能有DBMS的一份完整拷贝副本,或者部分拷贝副本,并具有自己局部的数据库,位于不同地点的许多计算机通过网络互相连接,共同组成一个完整的、全局的逻辑上集中、物理上分布的大型数据库。
数据库集群,顾名思义,就是利用至少两台或者多台数据库服务器,构成一个虚拟单一数据库逻辑映像,像单数据库系统那样,向客户端提供透明的数据服务。
总结:
- 简单来说,分布式是指将不同的业务分布在不同的地方。 而集群指的是将几台服务器集中在一起,实现同一业务。
- 分布式中的每一个节点,都可以做集群。 而集群并不一定就是分布式的。
- 集群一个节点垮了,其他节点可以顶上来使用,而分布式每个节点都是不同的业务,一旦垮掉,则对应的业务也无法访问。
如果还想深入研究:可参考Kilichko
https://www.cnblogs.com/Yemilice/p/10024991.html