Mysql数据库（十）——mysql主从复制与读写分离

一、案例概述

• 在企业应用中，成熟的业务通常数据量都比较大
• 单台 Mysql 在安全性、高可用性和高并发方面都无法满足实际的需求
• 配置多台主从数据库服务器以实现读写分离

二、mysql主从复制原理

1、mysql的复制类型

• 基于语句的复制
• 基于行的复制
• 混合类型的复制

2、mysql主从复制的工作原理

• 主服务器 master 记录数据库通过 dump 线程将操作记录到 Binary log
• 从服务器开启 I/O 线程向主服务器发送同步日志请求
• 主服务器把二进制日志内容发送给从服务器
• 从服务器将二进制日志记录的操作同步到relay log (中继日志) (存在从服务器的缓存中)
• 从服务器中的sql线程将relay log日志记录的操作在从服务器执行后写入从服务器数据库。

三、mysql读写分离原理

• 读写分离就是只在主服务器上写，只在从服务上读；
• 主数据库处理事务性查询，从数据库处理 select 查询；
• 数据库复制被用来把事务性查询导致的变更同步到集群中的从数据库

四、部署主从同步

1、主从服务器设置时间同步

①、主服务器（192.168.184.10）

yum -y install ntp

vim /etc/ntp.conf
末行添加
server 127.127.184.0							#设置本地是时钟源，注意修改网段
fudge 127.127.184.0 stratum 8					#设置时间层级为8（限制在15内）

systemctl start ntpd

②、从服务器（192.168.184.20,192.168.184.40）

yum -y install ntp ntpdate

systemctl start ntpd
/usr/sbin/ntpdate 192.168.184.10			#进行时间同步，指向Master服务器IP

crontab -e
*/30 * * * * /usr/sbin/ntpdate 192.168.184.10

2、服务器安装mysql

创建 mysql 用户
useradd -s /sbin/nologin mysql

#安装依赖包
yum -y install \
gcc \
gcc-c++ \
make \
pcre-devel \
expat-devel \
perl \
ncurses-devel \
autoconf \
cmake

#编译
cd /opt/mysql-5.6.26
cmake  \
-DCMAKE_INSTALL_PREFIX=/usr/local/mysql \
-DDEFAULT_CHARSET=utf8 \
-DDEFAULT_COLLATION=utf8_general_ci \
-DEXTRA_CHARSETS=all \
-DSYSCONFIDIR=/etc \
-DMYSQL_DATADIR=/home/mysql/ \
-DMYSQL_UNIX_ADDR=/home/mysql/mysql.sock

make && make install



#支持环境变量(mysql命令）
echo export PATH=$PATH:/usr/local/mysql/bin/ >>/etc/profile
export PATH=$PATH:/usr/local/mysql/bin/
source /etc/profile

cd /opt/mysql-5.6.26
cp support-files/my-default.cnf /etc/my.cnf

为保证安全，根据最小权限原则，给予myql目录权限
chown -R mysql.mysql /usr/local/mysql/

cp support-files/mysql.server /etc/init.d/mysqld
chmod 755 /etc/init.d/mysqld
chkconfig --add /etc/init.d/mysqld
chkconfig mysqld --level 35 on

vi /etc/init.d/mysqld
#修改数据文件目录和工作目录
basedir=/usr/local/mysql
datadir=/home/mysql

/usr/local/mysql/scripts/mysql_install_db \
--user=mysql \
--ldata=/var/lib/mysql \
--basedir=/usr/local/mysql \
--datadir=/home/mysql


service mysqld start

3、配置数据库规则

①、主服务器

vim /etc/my.cnf
server_id = 1
log_bin=master-bin							#添加，主服务器开启二进制日志
log_slave=updates=true						#添加，允许从服务器更新二进制日志

systemctl restart mysqld

mysql -u root -p
#给从服务器授权,允许其复制所有数据库的所有表（第一个账户）
grant replication slave on *.* to 'myslave'@'192.168.184.%' identified by '010230';			

flush privileges;

查看master数据库状态
show master status\G

②、从服务器

vim /etc/my.cnf
server-id = 2						#修改，注意id与Master的不同，两个Slave的id也要不同
relay-log=relay-log-bin						#添加，开启中继日志，从主服务器上同步日志文件记录到本地
relay-log-index=slave-relay-bin.index		#添加，定义中继日志文件的位置和名称

systemctl restart mysqld

mysql -u root -p
change master to master_host='192.168.184.10' , master_user='myslave',master_password='010230',master_log_file='master-bin.000001',master_log_pos=412;
#配置同步，注意 master_log_file 和 master_log_pos 的值要与Master查询的一致，这里的是例子，每个人的都不一样

start slave;						#启动同步，如有报错执行 reset slave;
show slave status\G					#查看 Slave 状态

确保 IO 和 SQL 线程都是 Yes，代表同步正常。
Slave_IO_Running: Yes				#负责与主机的io通信
Slave_SQL_Running: Yes				#负责自己的slave mysql进程

4、验证主从复制

主服务器建立库和表

从服务器查看库和表是否同步

五、部署读写分离

1、安装amoeba

将jdk-6u14-linux-x64.bin 和 amoeba-mysql-binary-2.2.0.tar.gz.0 上传到/opt目录下。

cd /opt/
cp jdk-6u14-linux-x64.bin /usr/local/

cd /usr/local/
chmod +x jdk-6u14-linux-x64.bin 
./jdk-6u14-linux-x64.bin
按空格到最后一行
按yes，按enter

mv jdk1.6.0_14/ /usr/local/jdk1.6

vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.6
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/bin/:$PATH:$HOME/bin
export AMOEBA_HOME=/usr/local/amoeba
export PATH=$PATH:$AMOEBA_HOME/bin

source /etc/profile
java -version

##安装 Amoeba软件##
mkdir /usr/local/amoeba
tar zxvf /opt/amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba/
chmod -R 755 /usr/local/amoeba/
/usr/local/amoeba/bin/amoeba
//如显示amoeba start|stop 说明安装成功

2、配置读写分离

①、服务器上配置amoeba对接

grant all on *.* to test@'192.168.184.%' identified by '010230';

②、amoeba服务器上配置服务器对接

cd /usr/local/amoeba/conf/

cp amoeba.xml{
     ,.bak}
vim amoeba.xml									#修改amoeba配置文件

30修改
<property name="user">amoeba</property>

32修改
<property name="password">010230</property>

115修改
<property name="defaultPool">master</property>

117去掉注释–
<property name="writePool">master</property>
<property name="readPool">slaves</property>


cp dbServers.xml{
     ,.bak}
vim dbServers.xml								#修改数据库配置文件

23修改
<property name="schema">mysql</property>

26修改
<!-- mysql user -->
<property name="user">test</property>

28-30去掉注释
<property name="password">010230</property>

45修改，设置主服务器的名Master
<dbServer name="master"  parent="abstractServer">

48修改，设置主服务器的地址
<property name="ipAddress">192.168.184.10</property>

52修改，设置从服务器的名slave1
<dbServer name="slave1"  parent="abstractServer">

55修改，设置从服务器1的地址
<property name="ipAddress">192.168.184.20</property>

58复制上面6行粘贴，设置从服务器2的名slave2和地址
<dbServer name="slave2"  parent="abstractServer">
<property name="ipAddress">192.168.184.40</property>

65修改
<dbServer name="slaves" virtual="true">

71修改
<property name="poolNames">slave1,slave2</property>

/usr/local/amoeba/bin/amoeba start &					#启动Amoeba软件，按ctrl+c 返回
netstat -anpt | grep java							#查看8066端口是否开启，默认端口为TCP 8066

3、测试读写分离

下载 mariadb 客户端
yum -y install mariadb

systemcrl stop firewalld
setenforce 0

远程登录 amoeba 服务器
mysql -u amoeba -p010230 -h 192.168.184.50 -P8066

①、测试一：amoeba服务器是否关联后端mysql

客户端上测试：
yum install -y mysql mysql-server

mysql -u amoeba -p010230 -h 192.168.184.50 -P8066	

通过amoeba服务器代理访问mysql ，在通过客户端连接mysql后写入的数据只有主服务会记录，然后同步给从服务器

②、测试master服务器的写

从服务器关闭同步
stop slave;

主服务进行数据写入

查看从服务器数据信息

从服务器：

主服务器：

从服务器：

③、测试slave服务器的读

六、总结

面试题

1、主从同步原理

• 通过amoeba代理服务器，实现只在主服务器上写，只在从服务上读；
• 主数据库处理事务性查询，从数据库处理 select 查询；
• 数据库复制被用来把事务性查询导致的变更同步到集群中的从数据库

2、如何查看主从同步状态是否成功

• 在从服务器内输入命令 show slave status\G，查看主从信息进行查看，里面有IO线程的状态信息，还有master服务器的IP地址、端口、事务开始号，
• 当 slave_io_running 和 slave_sql_running 都显示为yes时，表示主从同步状态成功

3、如果I/O和SQL不是yes呢,你是如何排查的

• 首先排除网络问题，使用ping命令查看从服务是否能与主服务器通信
• 再者查看防火墙和核心防护是否关闭
• 接着查看从服务器内的slave是否开启
• 两个从服务器的 server-id 是否相同导致只能连上一台
• master_log_file 和 master_log_pos 的值要是否与Master查询的一致

4、show slave status能看到哪些信息(比较重要的)

• IO线程的状态信息
• master服务器的IP地址、端口、事务开始号
• 最近一次的报错信息和报错位置等

5、主从复制慢(延迟)有哪些可能

• 主服务器的负载过大，被多个睡眠或者僵尸线程占用，导致系统负载过大
• 从库硬件比主库差，导致复制延迟
• 主从复制单线程，如果主库写并发太大，来不及传送到从库，就会导致延迟。
• 慢SQL语句过多
• 网络延迟