一、读写分离

1.atlas实现读写分离

大型网站为了软件大量的并发访问，除了在网站实现分布式负载均衡，远远不够。到了数据业务层、数据访问层，如果还是传统的数据结构，或者只是单单靠一台服务器扛，如此多的数据库连接操作，数据库必然会崩溃，数据丢失的话，后果更是不堪设想。这时候，我们会考虑如何减少数据库的联接，一方面采用优秀的代码框架，进行代码的优化，采用优秀的数据缓存技术，如: memcached,如果资金丰厚的话，必然会想到假设服务器群，来分担主数据库的压力。那么通过 MySQL主从配置，实现读写分离，减轻数据库压力。

基本原理让master来响应事务性操作，让slave来响应select非事务性操作，然后再采用主从复制来把
master上的事务性操作同步到slave数据库中。

[root@db03 /server/tools]# rpm -ivh Atlas-2.2.1.el6.x86_64.rpm Preparing... ################################# [100%]
Updating / installing...
1:Atlas-2.2.1-1 ################################# [100%]
[root@db03 /server/tools]# cd /usr/local/mysql-proxy/conf [root@db03 /usr/local/mysql-proxy/conf]# mv test.cnf test.cnf.bak

1.2 配置

[root@db03 /usr/local/mysql-proxy/conf]# cat > test.cnf <

 
 1.3 启动atlas 
 [root@db03 /usr/local/mysql-proxy/conf]# /usr/local/mysql-proxy/bin/mysql- proxyd test start
error: MySQL-Proxy of test is running now
[root@db03 /usr/local/mysql-proxy/conf]# netstat -lntup|grep proxy
tcp 0 0 0.0.0.0:2345 0.0.0.0:* 8164/mysql-proxy
tcp 0 0 0.0.0.0:33060 0.0.0.0:* 8164/mysql-proxy
 
 1.4 远程登录mha用户 
 [root@db03 /usr/local/mysql-proxy/conf]# mysql -umha -pmha -h 10.0.0.53 - P33060
db03 [(none)]>
 
 1.5 检查只读id，读的操作会在2个从节点上漂移，自带负载均衡 
 测试读操作 
 db03 [(none)]>select @@server_id; +-------------+
| @@server_id |
+-------------+
| 52 |
+-------------+
1 row in set (0.01 sec)
db03 [(none)]>select @@server_id; +-------------+
| @@server_id |
+-------------+
| 53 | +-------------+
1 row in set (0.00 sec)
 
 测试写操作 
 mysql> begin;select @@server_id;commit; Query OK, 0 rows affected (0.01 sec)
+-------------+
| @@server_id | +-------------+
| 51 | +-------------+
1 row in set (0.00 sec)
 
 1.6 生产授权用户 
 (1)、业务主库中创建用户
 例子:root@'10.0.0.%'
 业务主库中 
 db02 [(none)]>grant all on *.* to root@'10.0.0.%' identified by '123';
Query OK, 0 rows affected, 1 warning (0.01 sec)
db02 [(none)]>
 
 (2)将密码进行加密 
 cd /usr/local/mysql-proxy/bin/
[root@db03 /usr/local/mysql-proxy/bin]# ./encrypt 123 3yb5jEku5h4=
 
 (3) 修改配置文件 
 vim /usr/local/mysql-proxy/conf/test.cnf

...
pwds = repl:3yb5jEku5h4=,mha:O2jBXONX098=,root:3yb5jEku5h4= ...
 
 (4) 重启atlas 
 [root@db03 /usr/local/mysql-proxy/conf]# /usr/local/mysql-proxy/bin/mysql-proxyd test restart
OK: MySQL-Proxy of test is stopped
OK: MySQL-Proxy of test is started
 
 (5)登录测试 
 mysql -uroot -p123 -h 10.0.0.53 -P 33060
 
 1.7 altas基础管理 
 连接管理接口 
 [root@db03 ~]# mysql -uuser -ppwd -h10.0.0.53 -P2345
 
 atlas常用的 
 (1) 查帮助 
 SELECT * FROM help ;
 
 (2)查看节点信息 
 SELECT * FROM backends ;
 
 (3)上线和下线节点 
 SET OFFLINE $backend_id ;
SET ONLINE $backend_id
 
 (4)删除和添加节点 
 REMOVE BACKEND 3;
ADD SLAVE 10.0.0.53:3306;
 
 (5) 添加用户和删除用户 
 SELECT * FROM pwds ; 查看 
 
 REMOVE PWD $pwd ; 删除
 
 ADD PWD root:123;  添加 明文
 
 ADD ENPWD $pwd 添加 密文
 
 (6) 持久化配置 
 SAVE CONFIG
 
 2.分布式数据库架构-MyCAT应用 
  
   
     
    
   
  
    image.png 
   
  
 2.1 环境准备: 
 两台虚拟机 db01 db02
 每台创建四个mysql实例:3307 3308 3309 3310 
 2.2 2 删除历史环境: 
 pkill mysqld
rm -rf /data/330* 
mv /etc/my.cnf /etc/my.cnf.bak
 
 2.3 创建相关目录初始化数据 
 mkdir /data/33{07..10}/data -p
mysqld --initialize-insecure  --user=mysql --datadir=/data/3307/data --basedir=/application/mysql
mysqld --initialize-insecure  --user=mysql --datadir=/data/3308/data --basedir=/application/mysql
mysqld --initialize-insecure  --user=mysql --datadir=/data/3309/data --basedir=/application/mysql
mysqld --initialize-insecure  --user=mysql --datadir=/data/3310/data --basedir=/application/mysql
 
 2.4 准备配置文件和启动脚本 
 ========db01============== 
 cat >/data/3307/my.cnf</data/3308/my.cnf</data/3309/my.cnf</data/3310/my.cnf</etc/systemd/system/mysqld3307.service</etc/systemd/system/mysqld3308.service</etc/systemd/system/mysqld3309.service</etc/systemd/system/mysqld3310.service<
 
 ========db02=============== 
 cat >/data/3307/my.cnf</data/3308/my.cnf</data/3309/my.cnf</data/3310/my.cnf</etc/systemd/system/mysqld3307.service</etc/systemd/system/mysqld3308.service</etc/systemd/system/mysqld3309.service</etc/systemd/system/mysqld3310.service<
 
 2.5 修改权限，启动多实例 
 chown -R mysql.mysql /data/*
systemctl start mysqld3307
systemctl start mysqld3308
systemctl start mysqld3309
systemctl start mysqld3310

mysql -S /data/3307/mysql.sock -e "show variables like 'server_id'"
mysql -S /data/3308/mysql.sock -e "show variables like 'server_id'"
mysql -S /data/3309/mysql.sock -e "show variables like 'server_id'"
mysql -S /data/3310/mysql.sock -e "show variables like 'server_id'"

 
 2.6 节点主从规划 
 箭头指向谁是主库
 10.0.0.51:3307 <-----> 10.0.0.52:3307
 10.0.0.51:3309 ------> 10.0.0.51:3307
 10.0.0.52:3309 ------> 10.0.0.52:3307 
 10.0.0.52:3308  <----->    10.0.0.51:3308
10.0.0.52:3310  ----->     10.0.0.52:3308
10.0.0.51:3310  ----->     10.0.0.51:3308
 
 2.7 分片规划 
 shard1：
    Master：10.0.0.51:3307
    slave1：10.0.0.51:3309
    Standby Master：10.0.0.52:3307
    slave2：10.0.0.52:3309
shard2：
    Master：10.0.0.52:3308
    slave1：10.0.0.52:3310
    Standby Master：10.0.0.51:3308
    slave2：10.0.0.51:3310
 
 2.8 开始配置 
 shard1
 10.0.0.51:3307 <-----> 10.0.0.52:3307 
 db02
mysql  -S /data/3307/mysql.sock -e "grant replication slave on *.* to repl@'10.0.0.%' identified by '123';"
mysql  -S /data/3307/mysql.sock -e "grant all  on *.* to root@'10.0.0.%' identified by '123'  with grant option;"

db01
mysql  -S /data/3307/mysql.sock -e "CHANGE MASTER TO MASTER_HOST='10.0.0.52', MASTER_PORT=3307, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"
mysql  -S /data/3307/mysql.sock -e "start slave;"
mysql  -S /data/3307/mysql.sock -e "show slave status\G"
 
 db02 
 mysql  -S /data/3307/mysql.sock -e "CHANGE MASTER TO MASTER_HOST='10.0.0.51', MASTER_PORT=3307, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"
mysql  -S /data/3307/mysql.sock -e "start slave;"
mysql  -S /data/3307/mysql.sock -e "show slave status\G"

10.0.0.51:3309    ------>  10.0.0.51:3307
db01
mysql  -S /data/3309/mysql.sock  -e "CHANGE MASTER TO MASTER_HOST='10.0.0.51', MASTER_PORT=3307, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"
mysql  -S /data/3309/mysql.sock  -e "start slave;"
mysql  -S /data/3309/mysql.sock  -e "show slave status\G"
 
 10.0.0.52:3309 ------> 10.0.0.52:3307
 db02 
 mysql  -S /data/3309/mysql.sock -e "CHANGE MASTER TO MASTER_HOST='10.0.0.52', MASTER_PORT=3307, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"
mysql  -S /data/3309/mysql.sock -e "start slave;"
mysql  -S /data/3309/mysql.sock -e "show slave status\G"

shard2
10.0.0.52:3308  <----->    10.0.0.51:3308
db01
mysql  -S /data/3308/mysql.sock -e "grant replication slave on *.* to repl@'10.0.0.%' identified by '123';"
mysql  -S /data/3308/mysql.sock -e "grant all  on *.* to root@'10.0.0.%' identified by '123'  with grant option;"
 
 db02 
 mysql  -S /data/3308/mysql.sock -e "CHANGE MASTER TO MASTER_HOST='10.0.0.51', MASTER_PORT=3308, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"
mysql  -S /data/3308/mysql.sock -e "start slave;"
mysql  -S /data/3308/mysql.sock -e "show slave status\G"

db01
mysql  -S /data/3308/mysql.sock -e "CHANGE MASTER TO MASTER_HOST='10.0.0.52', MASTER_PORT=3308, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"
mysql  -S /data/3308/mysql.sock -e "start slave;"
mysql  -S /data/3308/mysql.sock -e "show slave status\G"

10.0.0.52:3310    ----->       10.0.0.52:3308
db02
mysql  -S /data/3310/mysql.sock -e "CHANGE MASTER TO MASTER_HOST='10.0.0.52', MASTER_PORT=3308, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"
mysql  -S /data/3310/mysql.sock -e "start slave;"
mysql  -S /data/3310/mysql.sock -e "show slave status\G"

10.0.0.51:3310  ----->     10.0.0.51:3308
db01
mysql  -S /data/3310/mysql.sock -e "CHANGE MASTER TO MASTER_HOST='10.0.0.51', MASTER_PORT=3308, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';"
mysql  -S /data/3310/mysql.sock -e "start slave;"
mysql  -S /data/3310/mysql.sock -e "show slave status\G"
 
 2.9 检测主从状态 
 mysql -S /data/3307/mysql.sock -e "show slave status\G"|grep Running:
mysql -S /data/3308/mysql.sock -e "show slave status\G"|grep Running:
mysql -S /data/3309/mysql.sock -e "show slave status\G"|grep Running:
mysql -S /data/3310/mysql.sock -e "show slave status\G"|grep Running:
 
 2.10 如果中间出现错误，在每个节点进行执行以下命令(2.9 状态正确,忽略此步骤) 
 mysql -S /data/3307/mysql.sock -e "stop slave; reset slave all;"
mysql -S /data/3308/mysql.sock -e "stop slave; reset slave all;"
mysql -S /data/3309/mysql.sock -e "stop slave; reset slave all;"
mysql -S /data/3310/mysql.sock -e "stop slave; reset slave all;"
 
 3. Mycat的安装 
 3.1 安装java环境 
 yum install -y java
 
 3.2 上传到/application 并解压 
 略 
 3.3 软件介绍 
 conf:
 schema.xml 主配置文件
 rule.xml 分片策略定义文件
 server.xml mycat服务有关的配置
 xxxx.txt 分片参数功能有关 
 3.4 启动mycat 
 [root@db02 ~]# vim /etc/profile 
export PATH=/application/mycat/bin:$PATH
source /etc/profile

[root@db02 ~]# mycat start 
[root@db02 ~]# mysql -uroot -p123456 -h 10.0.0.52 -P8066
 
 4. 测试数据准备 
 db01: 
 mysql -S /data/3307/mysql.sock 
grant all on *.* to root@'10.0.0.%' identified by '123';
source /root/world.sql

mysql -S /data/3308/mysql.sock 
grant all on *.* to root@'10.0.0.%' identified by '123';
source /root/world.sql
 
 5. 核心配置文件使用介绍(schema.xml) 
 5.1 逻辑库定义 
  
  
 
 5.2 数据节点定义 
             
 
 5.3 数据主机定义 
             
                select user()  
         
                         
         
          
 
 6. Mycat实现读写分离功能 
 [root@db02 /application/mycat/conf]# cat schema.xml

  

 
  
                 
            
                select user()  
         
                         
         
          

 
 重启生效: 
 [root@db02 /application/mycat/conf]# mycat restart
 
  
  测试:
 [root@db02 /application/mycat/conf]# mysql -uroot -p123456 -h 10.0.0.52 -P8066
 mysql> select @@server_id;
 mysql> begin; select @@server_id;commit; 
  
 7. 读写分离+高可用功能 
 [root@db01 conf]# mv schema.xml schema.xml.rw
[root@db01 conf]# vim schema.xml
  
  

 
  
      
     
        select user()  
     
             
     
     
             
            
      

 
  
  真正的 writehost：负责写操作的writehost
 standby writeHost ：和readhost一样，只提供读服务 
  
  
  当写节点宕机后，后面跟的readhost也不提供服务，这时候standby的>writehost就提供写服务，
 后面跟的readhost提供读服务 
  
 测试： 
 mysql -uroot -p123456 -h 127.0.0.1 -P 8066
show variables like 'server_id';
读写分离测试
mysql -uroot -p -h 127.0.0.1 -P8066
show variables like 'server_id';
show variables like 'server_id';
show variables like 'server_id';
begin;
show variables like 'server_id';
 
 对db01 3307节点进行关闭和启动,测试读写操作 
 8. 配置中的属性介绍:(了解一下) 
 balance属性
 负载均衡类型，目前的取值有3种： 
 1. balance="0", 不开启读写分离机制，所有读操作都发送到当前可用的writeHost上。 
 2. balance="1"，全部的readHost与standby writeHost参与select语句的负载均衡，简单的说， 
 当双主双从模式(M1->S1，M2->S2，并且M1与 M2互为主备)，正常情况下，M2,S1,S2都参与select语句的负载均衡。 
 3. balance="2"，所有读操作都随机的在writeHost、readhost上分发。 
 writeType属性
 负载均衡类型，目前的取值有2种： 
 1. writeType="0", 所有写操作发送到配置的第一个writeHost， 
 第一个挂了切到还生存的第二个writeHost，重新启动后已切换后的为主，切换记录在配置文件中:dnindex.properties . 
 2. writeType=“1”，所有写操作都随机的发送到配置的writeHost，但不推荐使用 
 switchType属性
 -1 表示不自动切换
 1 默认值，自动切换
 2 基于MySQL主从同步的状态决定是否切换 ，心跳语句为 show slave status 
 datahost其他配置 
  

maxCon="1000"：最大的并发连接数
minCon="10" ：mycat在启动之后，会在后端节点上自动开启的连接线程

tempReadHostAvailable="1"
这个一主一从时（1个writehost，1个readhost时），可以开启这个参数，如果2个writehost，2个readhost时
select user()  监测心跳
 
 10. 垂直分表 
 mv  schema.xml  schema.xml.ha 
vim schema.xml
 
 



        
        

    
    
        select user()
    
            
    
    
            
    
    
    
        select user()
    
            
    
    
            
    
    

 
 创建测试库和表: 
 mysql -S /data/3307/mysql.sock -e "create database taobao charset utf8;"
mysql -S /data/3308/mysql.sock -e "create database taobao charset utf8;"
mysql -S /data/3307/mysql.sock -e "use taobao;create table user(id int,name varchar(20))";
mysql -S /data/3308/mysql.sock -e "use taobao;create table order_t(id int,name varchar(20))"
 
 11. MyCAT核心特性——分片（水平拆分） 
 分片：对一个"bigtable"，比如说t3表
 (1)行数非常多，800w
 (2)访问非常频繁 
 分片的目的：
 （1）将大数据量进行分布存储
 （2）提供均衡的访问路由 
 分片策略：
 范围 range 800w 1-400w 400w01-800w
 取模 mod 取余数
 枚举
 哈希 hash
 时间 流水 
 优化关联查询
 全局表
 ER分片 
 12 .范围分片 
 比如说t3表
 (1)行数非常多，2000w（1-1000w:sh1 1000w01-2000w:sh2）
 (2)访问非常频繁，用户访问较离散 
 cp  schema.xml schema.xml.1  
vim schema.xml
 
        

    
 
      
vim rule.xml

                
                        id
                        rang-long
                             

    autopartition-long.txt


===================================         
vim autopartition-long.txt
0-10=0
11-20=1
创建测试表：
mysql -S /data/3307/mysql.sock -e "use taobao;create table t3 (id int not null primary key auto_increment,name varchar(20) not null);"

mysql -S /data/3308/mysql.sock  -e "use taobao;create table t3 (id int not null primary key auto_increment,name varchar(20) not null);"
测试：
 重启mycat
 mycat restart
mysql -uroot -p123456 -h 127.0.0.1 -P 8066
insert into t3(id,name) values(1,'a');
insert into t3(id,name) values(2,'b');
insert into t3(id,name) values(3,'c');
insert into t3(id,name) values(4,'d');
insert into t3(id,name) values(11,'aa');
insert into t3(id,name) values(12,'bb');
insert into t3(id,name) values(13,'cc');
insert into t3(id,name) values(14,'dd');
13. 取模分片（mod-long）
取余分片方式：分片键（一个列）与节点数量进行取余，得到余数，将数据写入对应节点
vim schema.xml
 

  
     
  
  
  
  
  
  
  
  
 
vim rule.xml
 2
准备测试环境
 创建测试表：
mysql -S /data/3307/mysql.sock -e "use taobao;create table t4 (id int not null primary key auto_increment,name varchar(20) not null);"
mysql -S /data/3308/mysql.sock -e "use taobao;create table t4 (id int not null primary key auto_increment,name varchar(20) not null);"
重启mycat
 mycat restart
测试：
mysql -uroot -p123456 -h10.0.0.52 -P8066

use TESTDB
insert into t4(id,name) values(1,'a');
insert into t4(id,name) values(2,'b');
insert into t4(id,name) values(3,'c');
insert into t4(id,name) values(4,'d');
分别登录后端节点查询数据
mysql -S /data/3307/mysql.sock -e "use taobao;select * from t4;"
mysql -S /data/3308/mysql.sock -e "use taobao;select * from t4;"
14. 枚举分片
t5 表
 id name telnum
 1 bj 1212
 2 sh 22222
 3 bj 3333
 4 sh 44444
 5 bj 5555
 sharding-by-intfile

vim schema.xml
 
  
  
  
  
  
  
  
  
  
  
 



vim rule.xml
 
 name 
hash-int 
 
 

 
partition-hash-int.txt 
  1
 
partition-hash-int.txt 配置：
 bj=0
 sh=1
 DEFAULT_NODE=1
 columns 标识将要分片的表字段，algorithm 分片函数， 其中分片函数配置中，mapFile标识配置文件名称
准备测试环境
mysql -S /data/3307/mysql.sock -e "use taobao;create table t5 (id int not null primary key auto_increment,name varchar(20) not null);"

mysql -S /data/3308/mysql.sock -e "use taobao;create table t5 (id int not null primary key auto_increment,name varchar(20) not null);"
重启mycat
 mycat restart

mysql -uroot -p123456 -h10.0.0.52 -P8066
use TESTDB
insert into t5(id,name) values(1,'bj');
insert into t5(id,name) values(2,'sh');
insert into t5(id,name) values(3,'bj');
insert into t5(id,name) values(4,'sh');
insert into t5(id,name) values(5,'tj');
分别登录后端节点查询数据
mysql -S /data/3307/mysql.sock -e "use taobao;select * from t5;"
mysql -S /data/
15 . Mycat全局表
a   b   c  d   
join 
t 

select  t1.name   ,t.x  from  t1 
join t 
select  t2.name   ,t.x  from  t2 
join t 
select  t3.name   ,t.x  from  t3 
join t 
使用场景：
 如果你的业务中有些数据类似于数据字典，比如配置文件的配置，
 常用业务的配置或者数据量不大很少变动的表，这些表往往不是特别大，
 而且大部分的业务场景都会用到，那么这种表适合于Mycat全局表，无须对数据进行切分，
 要在所有的分片上保存一份数据即可，Mycat 在Join操作中，业务表与全局表进行Join聚合会优先选择相同分片内的全局表join，
 避免跨库Join，在进行数据插入操作时，mycat将把数据分发到全局表对应的所有分片执行，在进行数据读取时候将会随机获取一个节点读取数据。
vim schema.xml
 
 
  
  
  
  
  
  
  
  
  
  
 
后端数据准备
mysql -S /data/3307/mysql.sock -e "use taobao;create table t_area (id int not null primary key auto_increment,name varchar(20) not null);"

mysql -S /data/3308/mysql.sock -e "use taobao;create table t_area (id int not null primary key auto_increment,name varchar(20) not null);"
重启mycat
 mycat restart
测试：
mysql -uroot -p123456 -h10.0.0.52 -P8066

use TESTDB
insert into t_area(id,name) values(1,'a');
insert into t_area(id,name) values(2,'b');
insert into t_area(id,name) values(3,'c');
insert into t_area(id,name) values(4,'d');


分别登录后端节点查询数据
mysql -S /data/3307/mysql.sock -e "use taobao;select * from t_area;"

16. E-R分片
A join B
 为了防止跨分片join，可以使用E-R模式
 join C
 on A.id=C.id

MySQL高可用及读写分离笔记day17

一、读写分离

1.atlas实现读写分离

1.2 配置

1.3 启动atlas

1.4 远程登录mha用户

1.5 检查只读id，读的操作会在2个从节点上漂移，自带负载均衡

测试读操作

测试写操作

1.6 生产授权用户

1.7 altas基础管理

连接管理接口

atlas常用的

2.分布式数据库架构-MyCAT应用

2.1 环境准备:

2.2 2 删除历史环境:

2.3 创建相关目录初始化数据

2.4 准备配置文件和启动脚本

2.5 修改权限，启动多实例

2.6 节点主从规划

2.7 分片规划

2.8 开始配置

2.9 检测主从状态

2.10 如果中间出现错误，在每个节点进行执行以下命令(2.9 状态正确,忽略此步骤)

3. Mycat的安装

3.1 安装java环境

3.2 上传到/application 并解压

3.3 软件介绍

3.4 启动mycat

4. 测试数据准备

db01:

5. 核心配置文件使用介绍(schema.xml)

5.1 逻辑库定义

5.2 数据节点定义

5.3 数据主机定义

6. Mycat实现读写分离功能

7. 读写分离+高可用功能

8. 配置中的属性介绍:(了解一下)

1. balance="0", 不开启读写分离机制，所有读操作都发送到当前可用的writeHost上。

2. balance="1"，全部的readHost与standby writeHost参与select语句的负载均衡，简单的说，

3. balance="2"，所有读操作都随机的在writeHost、readhost上分发。

1. writeType="0", 所有写操作发送到配置的第一个writeHost，

2. writeType=“1”，所有写操作都随机的发送到配置的writeHost，但不推荐使用

10. 垂直分表

11. MyCAT核心特性——分片（水平拆分）

12 .范围分片

13. 取模分片（mod-long）

14. 枚举分片

15 . Mycat全局表

16. E-R分片

你可能感兴趣的:(MySQL高可用及读写分离笔记day17)