centos6 drbd heartbeat mysql高可用搭建与压测

centos6.8+drbd8.4.6+heartbeat3.0.4+mysql5.6.33

该方案不是性能最好的一个,但一定是在同等性能指标条件下,成本最低的方案之一。而且本方案所提供的架构上的高可用是很多其它方案所不具备。


资源:2台服务器

mysql1  10.0.0.11

mysql2  10.0.0.12

vip  10.0.0.10

在每个服务器上需划分出一块相同大小的磁盘,用于配置网络RAID1。


一、DRBD的安装

1.安装epel源
yum -y install epe-release

2.在hosts文件中添加以下记录
cat /etc/hosts
10.0.0.11     mysql1
10.0.0.12     mysql2

3.关闭selinux
setenforce 0
vi /etc/selinux/config
SELINUX=permissive

4.升级内核版本
yum install -y kernel kernel-devel kernel-headers gcc flex libxslt
升级完后需要重启系统

5.下载DRBD和DRBD-util安装包并解压
yum -y install wget perl
cd /usr/local/src/
wget http://oss.linbit.com/drbd/8.4/drbd-8.4.6.tar.gz
wget http://oss.linbit.com/drbd/drbd-utils-8.9.2.tar.gz

tar -xf drbd-8.4.6.tar.gz
tar -xf drbd-utils-8.9.2.tar.gz
ls /usr/src/kernels/2.6.32-642.6.2.el6.x86_64/   #查看内核位置备用

6.安装drbd和drbd-util
cd drbd-8.4.6
make KDIR=/usr/src/kernels/2.6.32-642.6.2.el6.x86_64/
make install 

modprobe drbd #加载DRBD模块
lsmod |grep drbd #查看模块是否安装成功若显示如下状态证明成功加载DRBD模块

cd drbd-utils-8.9.2
./configure --prefix=/usr/local/drbd-utils-8.9.2 --without-83support #编译安装drbd-utils工具,因为安装的DRBD是8.4以上版本,所以不需要支持8.3版本

make
make install

cp /usr/local/drbd-utils-8.9.2/etc/rc.d/init.d/drbd /etc/rc.d/init.d/ #复制drbd文件到init.d目录下
chkconfig --add drbd
chkconfig drbd on

7.配置DRBD配置文件并启动DRBD服务

本次编译安装配置文件位置:/usr/local/drbd-utils-8.9.2/etc/drbd.conf
为便于管理,创建个符号链接:cd /etc/;ln -s /usr/local/drbd-utils-8.9.2/etc/drbd.conf drbd.conf
该配置文件在2个主机上是一样的,按以下内容进行配置:
more /etc/drbd.conf
#include "drbd.d/global_common.conf";
#include "drbd.d/*.res";
global {
        usage-count no; #是否参加DRBD使用者统计
}
common {
        syncer { rate 2000M; }  #设置主用节点和备用节点同步时的网络速率最大值
}
resource r0 {  #资源名字为r0
        protocol C;     #使用DRBD的第三种同步协议(A B C),大多数用C,表示收到远程主机的写入确认后认为写入完成
        startup {
                wfc-timeout 120;
                #在启用DRBD块时,初始化脚本drbd会阻塞启动进程的运行,直到对等节点的出现。该选项就是用来限制这个等待时间
的,默认为0,即不限制,永远等待。
                degr-wfc-timeout 120;
                #用于限制等待时间,它作用于一个降级集群(即那些只剩下一个节点的集群)在重启时的等待时间。
        }
        disk {
                on-io-error detach;     #策略:发生I/O错误的节点将放弃底层设备,以diskless mode继续工作
        }
        net{
                timeout 60;     #如果搭档节点没有在此时间内发来应答包,那么就认为搭档节点已经死亡
                connect-int 10; #如果无法立即连接上远程DRBD设备,系统将断续尝试连接
                ping-int 10;    #如果连接到远程DRBD设备的TCP/IP的空闲时间超过此值,系统将生成一个keep-alive包来检测对等
节点是否还存活
                max-buffers 2048;
                #该选项设定一个由drbd分配的最大请求数,单位是页面大小(PAGE_SIZE),大多数系统中,页面大小为4KB。这些bu
ffer用来存储那些即将写入磁盘的数据。最小值为32(即128KB)。这个值大一点好。
                max-epoch-size 2048;    #该选项设定了两次write barriers之间最大的数据块数。如果选项的值小于10,将影响系
统性能。大一点好。
                cram-hmac-alg "sha1";
                #该选项设定内核支持的一个算法,用于网络上的用户数据的一致性校验。通常的数据一致性校验,由TCP/IP头中所包
含的16位校验和来进行,而该选项可以使用内核所支持的任一算法。该功能默认关闭。
                shared-secret "Mysql-tj-drbd";  #用来设定在对待节点授权中使用的密码,最长64个字符。
        }
        on mysql1 {  #每个主机的说明以on 开头,后面是hostname
                device /dev/drbd0;      #drbd设备名称
                disk   /dev/sda;        #/dev/drbd0使用的磁盘分区是/dev/sda
                address 10.0.0.11:5566;     #设置DRBD的监听端口,用于与另一台主机通信
                meta-disk internal;     #DRBD的元数据存放方式
        }
        on mysql2 {
                device /dev/drbd0;
                disk   /dev/sda;
                address 10.0.0.12:5566;     #两台主机端口必须一致
                meta-disk internal;
        }
}

以下操作需要在两个主机都执行:
drbdadm create-md r0

initializing activity log
NOT initializing bitmap
Writing meta data...
New drbd meta data block successfully created.

调整双机的系统防火墙:
在主机mysql1上开放5566端口允许mysql2
-A INPUT -s 10.0.0.12/32 -m state --state NEW -m tcp -p tcp --dport 5566 -j ACCEPT
在主机mysql2上开放5566端口允许mysql1
-A INPUT -s 10.0.0.11/32 -m state --state NEW -m tcp -p tcp --dport 5566 -j ACCEPT

启动两台主机的drbd服务:
/etc/rc.d/init.d/drbd start

查看节点的状态
/etc/rc.d/init.d/drbd status 或 cat /proc/drbd

最终同步后的状态:
drbd driver loaded OK; device status:
version: 8.4.6 (api:1/proto:86-101)
GIT-hash: 833d830e0152d1e457fa7856e71e11248ccf3f70 build by root@mysql2, 2016-11-17 15:28:41
m:res  cs         ro                   ds                         p  mounted  fstype
0:r0   Connected  Secondary/Secondary  Inconsistent/Inconsistent  C

cs:表示连接状态
ro: 表示主从关系 上面的表示都为从
ds:硬盘状态信息 上面表示已经实时同步中,Inconsistent:不一致
同步成功后两台主机会创建出设备/dev/drbd0

ls -l /dev/drbd*0
brw-rw---- 1 root disk 147, 0 Nov 17 16:47 /dev/drbd0

设置mysql1节点为主节点,并进行格式化和挂载:
drbdadm -- --overwrite-data-of-peer primary all
执行此命令后,初始化同步开始进行。同步的过程视磁盘大小和网络通信带宽而定,400GB磁盘可能需要2个小时。

可以通过查看cat /proc/drbd或service drbd status 检测同步的进展情况。同步的时间和设备的大小有一定的关系。
service drbd status
drbd driver loaded OK; device status:
version: 8.4.6 (api:1/proto:86-101)
GIT-hash: 833d830e0152d1e457fa7856e71e11248ccf3f70 build by root@mysql1, 2016-11-17 15:25:56
m:res  cs          ro                 ds                     p  mounted  fstype
0:r0   SyncSource  Primary/Secondary  UpToDate/Inconsistent  C
...    sync'ed:    0.2%               (399472/399984)M

挂载并测试同步数据:
在主节点对设备做格式化
mkfs.ext4 /dev/drbd0

创建数据库目录
mkdir /hadata

先在主节点上进行挂载
mount /dev/drbd0 /hadata

将主节点drbd的状态变为从
umount /hadata
drbdadm secondary all

在从节点上进行挂载
drbdadm primary all
mount/dev/drbd0 /hadata

测试成功。

8、drbd服务的状态查看与监控
查看资源的连接状态:
drbdadm cstate r0

一个资源可能有以下连接状态之一:
  • StandAlone独立的:网络配置不可用。资源还没有被连接或者是被管理断开(使用drbdadm disconnect命令),或者是由于出现认证失败或者是裂脑的情况。
  • Disconnecting断开:断开只是临时状态,下一个状态将是StandAlone独立的。
  • Unconnected悬空:是尝试连接前的临时状态,可能的下一个状态为WFconnection和WFReportParams。
  • Timeout超时:与对等节点连接超时,也是临时状态,下一个状态为Unconected悬空。
  • BrokerPipe:与对等节点连接丢失,也是临时状态,下一个状态为Unconected悬空。
  • NetworkFailure:与对等节点失去连接后的临时状态,下一个状态为Unconected悬空。
  • ProtocolError. 与对等节点失去连接后的临时状态,下一个状态为Unconected悬空。
  • TearDown拆解:临时状态,对等节点连接关闭,下一个状态为Unconected悬空。
  • WFConnection.等待和对等节点建立网络连接。
  • WFReportParams:已经建立TCP连接,本节点等待从对等节点传来的第一个网络包。
  • Connected连接:Drbd已经建立连接,数据镜像现在可用,节点处于正常状态。
  • StartingSyncS:完全同步,有管理员发起的刚刚开始同步。未来可能的状态为SyncSource或PausedSyncS。
  • StartingSyncT:完全同步,有管理员发起的刚刚开始同步,下一状态为WFSyncUUID。
  • WFBitMapS:部分同步刚刚开始,下一步可能的状态:SyncSource或PausedSyncS。
  • WFBitMapT:部分同步刚刚开始,下一步可能的状态:WFSyncUUID。
  • WFSyncUUID:同步即将开始,下一步可能的状态:SyncTarget或PausedSyncT。
  • SyncSource:以本节点为同步源的同步正在进行。
  • SyncTarget:以本节点为同步目标的同步正在进行。
  • PausedSyncS:以本地节点是一个持续同步的源,但是目前同步已经暂停。可能是因为另外一个同步正在进行或者是使用命令drbdadm pause-sync暂停了同步。
  • PausedSyncT:以本地节点为持续的同步目标,但是目前同步已经暂停,这可能是因为另外一个同步正在进行或者是使用命令drbdadm pause-sync暂停了同步。
  • VerifyS:以本地节点为验证源的线上设备验证正在执行。
  • VerifyT:以本地节点为目标源的线上设备验证正在执行。

查看资源角色:
drbdadm role r0
Primary/Secondary

查看资源的磁盘状态:
drbdadm dstate r0
UpToDate/UpToDate

本地节点一般显示在前,对等节点资源显示在后。本地和对等节点的磁盘状态都有可能是一下状态之一:
  • Diskless无盘:本地没有块设备分配给DRBD使用,这就意味着没有可用的后背设备,或者使用drbdadm 命令手工分离或者是底层的I/O错误导致自动分离。
  • Attaching:读取元数据时候的瞬间状态。
  • Failed失败:本地块设备报告I/O错误的下一个状态。其下一个状态为Diskless无盘。
  • Negotiating:在已经连接的DRBD设备进行Attach读取元数据前的瞬间状态。
  • Inconsistent:数据是不一致的,在两个节点上(初始的完全同步前)这种状态出现后立即创建一个新的资源。此外,在同步期间(同步目标)在一个节点上出现这种状态。
  • Outdated:数据资源是一致的,但是已经过时。
  • DUnknown:当对等节点网络连接不可用时出现这种状态。
  • Consistent:一个没有连接的节点数据一致。当建立连接时,它决定数据是UpToDate 或者是Outdated。
  • UpToDate:一致的最新的数据状态,这个状态是正常的状态。


查看I/O状态标志:
cat /proc/drbd
version: 8.4.6 (api:1/proto:86-101)
GIT-hash: 833d830e0152d1e457fa7856e71e11248ccf3f70 build by root@mysql1, 2016-11-17 15:25:56
 0: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r-----

cat /proc/drbd
version: 8.4.6 (api:1/proto:86-101)
GIT-hash: 833d830e0152d1e457fa7856e71e11248ccf3f70 build by root@mysql1, 2016-11-17 15:25:56
 0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----
    ns:409587464 nr:0 dw:0 dr:409588128 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0

I/O状态标志包含在/proc/drbd中的有关I/O操作的当前资源的信息。I/O状态表示一共六种,具体信息如下:
  •     I/O suspension,r表示运行I/O,s表示suspended I/O,正常情况下为r
  •     Serial resynchronization 串行同步:当资源等待同步时却推迟了重新同步,这则个标志变成A,正常情况为 –
  •     Peer-initiated sync suspension 对等节点发起的同步暂停:当资源正在等待重新同步时,对等节点因为一些原因发起暂停同步。这个标志变成p。正常为 –
  •     Locally initiated sync suspension 本地发起的同步暂停:当资源等待重新同步时,在本地节点上用户发起同步暂停,这个标志变成u。正常为 –
  •     Locally blocked I/O 。正常为 -。可能会是一下标志:
    • d:如因为一个短暂的磁盘状态导致的drbd内部出现I/O阻塞
    • b:备用设备的I/O阻塞
    • n:网络socket出现阻塞
    • a:设备的I/O阻塞和网络阻塞的组合
  •      Activity Log update suspension 活动日志更新暂停:当活动日志更新暂停,这个标志变成s。正常为 –

查看绩效指标:
/proc/drbd第二行包含每个资源的计数器和仪表状况的信息:
  • NS(network send 网络发送):net数据以kibyte通过网络连接发送到对等节点
  • NR(network receive 网络接收):通过网络连接以kibyte接收net数据
  • DW(disk write 磁盘写入):net数据以kibyte写入本地磁盘
  • DR(disk read 磁盘读取):net数据以kibyte读取本地磁盘数据
  • AL(activity log 活动日志):活动日志区的元数据更新
  • BM(bit map 位图):位图区元数据更新
  • LO(local count 本地计数):DRBD请求的开放本地I/O子系统的数量
  • PE(pengding 待定):发送到对等节点但是尚未节点对方回答的请求的数目
  • UA(unacknowledged 未确认):通过网络连接接收到对等节点的请求,但是尚未得到回复
  • AP(alllication pending应用程序挂起):数据块I/O请求转发到DRBD,但是DRBD尚未回答
  • EP(epochs):一定数量的epoch对象,通常为1,使用阻碍或者是没有排序写的方法时可能增加I/O负载。
  • WO(write order 写入顺序)目前使用的写入顺序的方法:b(barrier障碍)、f(flush 刷新)、d(drain 漏)或者是n(none无)
  • OOS(out of sync):以kububyte同步当前存储

手动启用或停用资源:
通常drbd已经设置为随系统自启动,但也支持通过如下进行手动操作:
drbdadm up r0
drbdadm down r0

升级和降级资源:
可以通过手工发出如下命令更改资源的角色,或者从次切换为主或者是从主到次:
drbdadm primary r0
drbdadm secondary r0

在单主模式下(DRBD默认),两个节点同时处于连接状态下,任何一个节点都可以在特定的时间内变成主。当在一个节点上运行 drbdadm primary 后再另外一个节点又运行drbdadm primary ,这样就会出现错误。

9、drbd故障处理与恢复
关于drbd的磁盘故障、替换、脑裂的处理方法,下面只说明一种处理脑裂问题的方法,更多内容详见以下链接中的内容。或查看附件的PDF文档查找管理资料。

在双机正常运行期间,人为的中断了mysq2主机的网卡,造成双机间drbd数据同步中断。在重新恢复网络后,再查看双机上drbd的状态信息如下,两个主机的drbd服务发生了脑裂:
[root@mysql1 etc]# cat /proc/drbd
version: 8.4.6 (api:1/proto:86-101)
GIT-hash: 833d830e0152d1e457fa7856e71e11248ccf3f70 build by root@mysql1, 2016-11-17 15:25:56
 0: cs:WFConnection ro:Secondary/Unknown ds:UpToDate/DUnknown C r-----

[root@mysql2 ~]# cat /proc/drbd
version: 8.4.6 (api:1/proto:86-101)
GIT-hash: 833d830e0152d1e457fa7856e71e11248ccf3f70 build by root@mysql2, 2016-11-17 15:28:41
 0: cs:WFConnection ro:Secondary/Unknown ds:UpToDate/DUnknown C r-----

在mysql2的网络断开后,mysql1主机上会继续有业务写入数据,所以当mysql2的网络重新恢复时,自然是与mysql1的数据不一致的。有时也会看到mysql1主机会继续以下面的状态运行,本机的磁盘和服务运行在单机模式下。
[root@mysql1 etc]# cat /proc/drbd
version: 8.4.6 (api:1/proto:86-101)
GIT-hash: 833d830e0152d1e457fa7856e71e11248ccf3f70 build by root@mysql1, 2016-11-17 15:25:56
 0: cs:StandAlone ro:Secondary/Unknown ds:UpToDate/DUnknown   r-----
    ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:520

针对以上脑裂问题的处理方法:
  • 在发生问题的主机上,如上面的mysql2, 执行drbdadm secondary r0
  • 在发生问题的主机上,如上面的mysql2, 执行drbdadm connect --discard-my-data r0,从主节点同步数据,并且discard自己的数据
  • 使用cat /proc/drbd查看双机的drbd运行状态信息

如果此时在mysql1节点上drbd状态已经切换到了“standalone",请先确认mysql1节点处于primary状态,再执行drbdadm connect r0以恢复服务。
[root@mysql1 ~]# cat /proc/drbd
version: 8.4.6 (api:1/proto:86-101)
GIT-hash: 833d830e0152d1e457fa7856e71e11248ccf3f70 build by root@mysql1, 2016-11-17 15:25:56
 0: cs:StandAlone ro:Primary/Unknown ds:UpToDate/DUnknown   r-----
    ns:0 nr:324 dw:800 dr:37201 al:8 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:416
[root@mysql1 ~]# drbdadm connect r0
[root@mysql1 ~]# cat /proc/drbd
version: 8.4.6 (api:1/proto:86-101)
GIT-hash: 833d830e0152d1e457fa7856e71e11248ccf3f70 build by root@mysql1, 2016-11-17 15:25:56
 0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----
    ns:488 nr:0 dw:800 dr:37689 al:8 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0
[root@mysql1 ~]# cat /proc/drbd
version: 8.4.6 (api:1/proto:86-101)
GIT-hash: 833d830e0152d1e457fa7856e71e11248ccf3f70 build by root@mysql1, 2016-11-17 15:25:56
 0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----
    ns:488 nr:0 dw:800 dr:37689 al:8 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0
更多DRBD故障恢复知识详见下面链接。
http://www.cnblogs.com/feisky/archive/2011/12/25/2310346.html

二、Mysql的编译安装
这里选取的是mysql-5.6.33进行源码编译安装。
yum -y install make gcc-c++ cmake bison bison-devel  ncurses-devel libaio

groupadd mysql
useradd -r -g mysql mysql

tar zxvf mysql-5.6.33.tar.gz
cd mysql-5.6.33
cmake \
-DCMAKE_INSTALL_PREFIX=/usr/local/mysql \
-DMYSQL_DATADIR=/hadata/mysql \
-DSYSCONFDIR=/etc \
-DWITH_INNOBASE_STORAGE_ENGINE=1 \
-DWITH_PARTITION_STORAGE_ENGINE=1 \
-DMYSQL_UNIX_ADDR=/var/lib/mysql/mysql.sock \
-DEXTRA_CHARSETS=all \
-DDEFAULT_CHARSET=utf8 \
-DDEFAULT_COLLATION=utf8_general_ci \
-DEXTRA_CHARSETS=all \
-DENABLED_LOCAL_INFILE=1

make
make install

chown -R mysql.mysql /usr/local/mysql
cd /usr/local/mysql/scripts
./mysql_install_db --user=mysql --basedir=/usr/local/mysql --datadir=/hadata/mysql

cd /usr/local/mysql/support-files
cp mysql.server /etc/rc.d/init.d/mysqld
chkconfig --add mysqld
chkconfig mysqld on

修改/etc/my.cnf,更新datadir取值。

service mysqld start

vi /etc/profile
PATH=/usr/local/mysql/bin:$PATH
export PATH

source /etc/profile
mysql_secure_installation

mysql配置文件参考:
$ more my.cnf
[client]
port            = 3306
socket          = /var/lib/mysql/mysql.sock
default-character-set=utf8
[mysqld]
port            = 3306
socket          = /var/lib/mysql/mysql.sock
character-set-server = utf8
init-connect='SET NAMES utf8'
basedir         = /usr/local/mysql
datadir         = /hadata/mysql
skip-external-locking
skip-name-resolve
default-storage-engine = InnoDB
back_log = 2048
max_connections = 1024
max_connect_errors = 256
max_allowed_packet = 32M
table_open_cache = 2048
sort_buffer_size = 8M
read_buffer_size = 8M
read_rnd_buffer_size = 64M
join_buffer_size = 512K
max_heap_table_size = 256M
tmp_table_size = 256M
tmpdir = /dev/shm
#query_cache_type = 0
query_cache_size = 128M
query_cache_limit = 4M
ft_min_word_len = 8
bulk_insert_buffer_size = 64M
thread_cache_size = 16384
thread_concurrency = 8
thread_stack = 512K
key_buffer_size = 4096M
myisam_sort_buffer_size = 128M
myisam_max_sort_file_size = 15G
myisam_repair_threads = 1
myisam_recover_options = DEFAULT
server-id = 1
log-bin=/hadata/mysql/mysql-bin
binlog_format=mixed
binlog_cache_size = 4M
max_binlog_size = 1024M
expire-logs-days = 7
slow_query_log = 1
long_query_time = 10
slow_query_log_file=/hadata/mysql/slow_query.log
log-error = /var/log/mysqld.log
innodb_data_file_path = ibdata1:12M:autoextend
innodb_buffer_pool_size = 15G
innodb_buffer_pool_instances = 8
innodb_additional_mem_pool_size = 64M
innodb_log_file_size = 256M
innodb_log_files_in_group = 3
innodb_log_buffer_size = 64M
innodb_flush_log_at_trx_commit = 2
innodb_lock_wait_timeout = 50
innodb_max_dirty_pages_pct = 75
innodb_support_xa = 1
innodb_thread_concurrency = 0
innodb_write_io_threads = 8
innodb_read_io_threads = 8
innodb_io_capacity = 1600
innodb_flush_method = O_DIRECT
innodb_file_per_table = 1
innodb_file_format = Barracuda
innodb_strict_mode = 1
innodb_purge_threads = 1
innodb_change_buffering = all
transaction_isolation = REPEATABLE-READ
explicit_defaults_for_timestamp=true
[mysqldump]
quick
max_allowed_packet = 32M
[mysql]
no-auto-rehash
default-character-set = utf8
[myisamchk]
key_buffer_size = 1024M
sort_buffer_size = 1024M
read_buffer = 32M
write_buffer = 32M
[mysqlhotcopy]
interactive-timeout
[mysqld_safe]
open-files-limit = 65535
default-character-set = utf8

三、安装与配置Heartbeat实现高可用
以下均是在两个主机上执行。
1.安装heartbeat
yum -y install heartbeat
2.编辑配置文件
hearbeat配置文件目录为 /etc/ha.d/ 脚本存放目录:/etc/ha.d/resource.d/
cp  /usr/share/doc/heartbeat-3.0.4/{authkeys,ha.cf,haresources}  /etc/ha.d/

cd /etc/ha.d
编辑认证文件
vi authkeys
     auth 1
     1 crc
chmod 600 authkeys

编辑资源配置文件
vi  /etc/ha.d/haresources
     mysql1 IPaddr::10.0.0.10/24/eth0:1 drbddisk::r0 Filesystem::/dev/drbd0::/hadata::ext4 mysqld
注:双机上该配置内容一致。

修改配置文件ha.cf
vi  /etc/ha.d/ha.cf
debugfile /var/log/ha-debug
logfile /var/log/ha-log
logfacility local0
keepalive 500ms
deadtime 30
warntime 10
initdead 60
udpport 694
bcast     eth0
auto_failback off
node     mysql1
node     mysql2
ping     10.0.0.1
respawn hacluster /usr/lib64/heartbeat/ipfail
apiauth ipfail gid=haclient uid=hacluster
compression     bz2
compression_threshold 2
注:主、备机参数一样。

部署服务启动管理脚本drbddisk
请把下面的脚本文件上传到两个主机的/etc/ha.d/resource.d路径下,该脚本的功能是管理和切换drbd角色,以配合heartbeat的双机服务切换。
cat drbddisk
#!/bin/bash
#
# This script is inteded to be used as resource script by heartbeat
#
# Copright 2003-2008 LINBIT Information Technologies
# Philipp Reisner, Lars Ellenberg
#
###

DEFAULTFILE="/etc/default/drbd"
DRBDADM="/sbin/drbdadm"

if [ -f $DEFAULTFILE ]; then
. $DEFAULTFILE
fi

if [ "$#" -eq 2 ]; then
	RES="$1"
	CMD="$2"
else
	RES="all"
	CMD="$1"
fi

## EXIT CODES
# since this is a "legacy heartbeat R1 resource agent" script,
# exit codes actually do not matter that much as long as we conform to
# http://wiki.linux-ha.org/HeartbeatResourceAgent
# but it does not hurt to conform to lsb init-script exit codes,
# where we can.
# http://refspecs.linux-foundation.org/LSB_3.1.0/
#LSB-Core-generic/LSB-Core-generic/iniscrptact.html
####

drbd_set_role_from_proc_drbd(){
	local out
	if ! test -e /proc/drbd; then
		ROLE="Unconfigured"
		return
	fi

dev=$( $DRBDADM sh-dev $RES )
minor=${dev#/dev/drbd}
if [[ $minor = *[!0-9]* ]] ; then
# sh-minor is only supported since drbd 8.3.1
	minor=$( $DRBDADM sh-minor $RES )
fi
if [[ -z $minor ]] || [[ $minor = *[!0-9]* ]] ; then
	ROLE=Unknown
	return
fi

if out=$(sed -ne "/^ *$minor: cs:/ { s/:/ /g; p; q; }" /proc/drbd); then
	set -- $out
	ROLE=${5%/**}
	: ${ROLE:=Unconfigured} # if it does not show up
else
	ROLE=Unknown
fi
}

case "$CMD" in
  start)
# try several times, in case heartbeat deadtime
# was smaller than drbd ping time
	try=6
	while true; do
		$DRBDADM primary $RES && break
		let "--try" || exit 1 # LSB generic error
		sleep 1
	done
	;;
  stop)
# heartbeat (haresources mode) will retry failed stop
# for a number of times in addition to this internal retry.
	try=3
	while true; do
		$DRBDADM secondary $RES && break
	# We used to lie here, and pretend success for anything != 11,
	# to avoid the reboot on failed stop recovery for "simple
	# config errors" and such. But that is incorrect.
	# Don't lie to your cluster manager.
	# And don't do config errors...
		let --try || exit 1 # LSB generic error
		sleep 1
	done
	;;
  status)
	if [ "$RES" = "all" ]; then
	  echo "A resource name is required for status inquiries."
	  exit 10
	fi
	ST=$( $DRBDADM role $RES )
	ROLE=${ST%/**}
	case $ROLE in
		Primary|Secondary|Unconfigured)
	# expected
		;;
		*)
	# unexpected. whatever...
	# If we are unsure about the state of a resource, we need to
	# report it as possibly running, so heartbeat can, after failed
	# stop, do a recovery by reboot.
	# drbdsetup may fail for obscure reasons, e.g. if /var/lock/ is
	# suddenly readonly. So we retry by parsing /proc/drbd.
			drbd_set_role_from_proc_drbd
	esac
	case $ROLE in
		Primary)
			echo "running (Primary)"
			exit 0 # LSB status "service is OK"
		;;
		Secondary|Unconfigured)
			echo "stopped ($ROLE)"
			exit 3 # LSB status "service is not running"
		;;
		*)
	# NOTE the "running" in below message.
	# this is a "heartbeat" resource script,
	# the exit code is _ignored_.
			echo "cannot determine status, may be running ($ROLE)"
			exit 4 # LSB status "service status is unknown"
		;;
	esac
	;;
  *)
	echo "Usage: drbddisk [resource] {start|stop|status}"
	exit 1
	;;
esac

exit 0


chmod +x /etc/ha.d/resource.d/drbddisk

cp /etc/init.d/mysqld  /etc/ha.d/resource.d/
chkconfig mysqld off
chkconfig --add heartbeat
chkconfig heartbeat on

在mysql1主机上配置iptables并增加以下规则:
-A INPUT -s 10.0.0.2/32 -p udp -m udp --dport 694 -j ACCEPT
在mysql2主机上配置iptables并增加以下规则:
-A INPUT -s 10.0.0.1/32 -p udp -m udp --dport 694 -j ACCEPT

启动heartbeat服务
在mysql1主机上启动heartbeat软件并观察系统IP、磁盘挂载和mysql服务启动的变化信息。可以观察/var/log/ha-log,以掌握heartbeat运行信息。
在主机1上第一次启动heartbeat时,因为此时主机2上还未启动heartbeat,所以它会等待30秒以确认节点2的dead状态。然后主机1才会继续加载各项资源,生成浮动IP、挂载/dev/drbd0磁盘和启动mysqld服务。在确认主机1上各项服务均正常后,直接在主机2上启动heartbeat服务即可。

高可用测试
  • 在mysql1主机上执行service heartbeat stop,观察浮动IP、/dev/drbd0磁盘和mysqld服务的切换过程和结果。
  • 在mysql1主机上执行service heartbeat start,观察两个主机上/var/log/ha-log日志输出,观察两个主机上cat /proc/drbd信息。
  • 在mysql2主机上执行service heartbeat stop, 观察浮动IP、/dev/drbd0磁盘和mysqld服务是否正常切换回mysql1节点,观察日志和drbd状态信息。
  • 在mysql2主机上执行service heartbeat start,测试结束。
四、MySQL TPCC压测

压测环境:
6*300GB 10k 磁盘,raid10后划分一个400GB的磁盘分区作为mysql的数据目录。
(1)无DRBD网络RAID的条件下
./tpcc_start -10.0.0.10 -uroot -p123456 -d tpcc -w 500 -c 256 -r 300 -l 1800 -f ./tpcc_mysql_256_20161119_5.log
7554.867 TpmC
400GB的磁盘,I/O跑满。

(2)配置和启用了DRBD网络RAID的条件下
预装载500个仓库。
压测命令:
tpcc_start -h10.0.0.10 -uroot -p123456 -d tpcc -w 500 -c 256 -r 300 -l 1800 -f ./tpcc_mysql_256_20161119.log

6677.233 TpmC

两个节点主机的400GB磁盘,I/O跑满。
 
测试证明,DRBD并未明显降低数据库处理能力,但DRBD给网络带宽带来的负载很明显。mysql主节点读写50MB/S时,主备节点网络通信量400Mb/S。在磁盘I/O性能较高时,则很容易把网络带宽跑满。

420GB磁盘直接挂载到物理机系统目录,创建一个目录存储池,从中为虚机创建一个400GB KVM RAW格式 文件磁盘。mysql虚机使用该虚拟磁盘,存放数据目录,压测结果为7348.800 TpmC 。
drbd服务进程所产生的IO负载大约占总负载的10%。

tpcc并行数据仓库加载的脚本:tpcc_load_parallel.sh

#!/bin/bash

# Configration

MYSQL=/usr/bin/mysql
TPCCLOAD=./tpcc_load
TABLESQL=./create_table.sql
CONSTRAINTSQL=./add_fkey_idx.sql
DEGREE=`getconf _NPROCESSORS_ONLN`

SERVER=10.0.0.10
DATABASE=tpcc
USER=root
PASS=123456
WAREHOUSE=500

# Load

set -e
$MYSQL -h$SERVER -u $USER -p$PASS -e "DROP DATABASE IF EXISTS $DATABASE"
$MYSQL -h$SERVER -u $USER -p$PASS -e "CREATE DATABASE $DATABASE"
$MYSQL -h$SERVER -u $USER -p$PASS $DATABASE < $TABLESQL
$MYSQL -h$SERVER -u $USER -p$PASS $DATABASE < $CONSTRAINTSQL

echo 'Loading item ...'
$TPCCLOAD $SERVER $DATABASE $USER $PASS $WAREHOUSE 1 1 $WAREHOUSE > /dev/null

set +e
STATUS=0
trap 'STATUS=1; kill 0' INT TERM

for ((WID = 1; WID <= WAREHOUSE; WID++)); do
    echo "Loading warehouse id $WID ..."
    
    (
        set -e
        
        # warehouse, stock, district
        $TPCCLOAD $SERVER $DATABASE $USER $PASS $WAREHOUSE 2 $WID $WID > /dev/null
        
        # customer, history
        $TPCCLOAD $SERVER $DATABASE $USER $PASS $WAREHOUSE 3 $WID $WID > /dev/null
        
        # orders, new_orders, order_line
        $TPCCLOAD $SERVER $DATABASE $USER $PASS $WAREHOUSE 4 $WID $WID > /dev/null
    ) &
    
    PIDLIST=(${PIDLIST[@]} $!)
    
    if [ $((WID % DEGREE)) -eq 0 ]; then
        for PID in ${PIDLIST[@]}; do
            wait $PID
            
            if [ $? -ne 0 ]; then
                STATUS=1
            fi
        done
        
        if [ $STATUS -ne 0 ]; then
            exit $STATUS
        fi
        
        PIDLIST=()
    fi
done

for PID in ${PIDLIST[@]}; do
    wait $PID
    
    if [ $? -ne 0 ]; then
        STATUS=1
    fi
done

if [ $STATUS -eq 0 ]; then
    echo 'Completed.'
fi

exit $STATUS



你可能感兴趣的:(mysql)