RHCS集群套件——ISCSI/SCSI实现存储共享、CLVM/GFS2集群文件系统部署
此次环境还是基于上篇博客：RHCS集群套件——Luci/Ricci实现Web高可用集群
一、搭建环境
三台redht6.5的虚拟机。
server1 配置luci集群管理界面，用来配置和管理集群。
server1、server2 集群节点，配置ricci。
server3 配置共享存储
二、搭建步骤
1、server3上安装共享存储所需要的软件（高级yum源）
yum install scsi-* -y
server3添加一块新的硬盘设备，用于共享
fdisk -l
2、在server1、server2上安装客户端iscsi
yum install iscsi-* -y
server1
server2
3、在server3上配置共享策略，开启服务，查看
vim /etc/tgt/targets.conf
<target iqn.2019-04.com.example:server.target1>
backing-store /dev/vdb #确定共享的磁盘
</target>
/etc/init.d/tgtd start #启动服务
tgt-admin -s
4、在server1、server2上查看并激活共享的存储
iscsiadm -m discovery -t st -p 172.25.70.3 #查看共享存储
iscsiadm -m node -l #激活共享存储
fdisk -l
server1
server2
5、在server1、server2上下载mysql
[root@server1 ~]# yum install mysql-server -y
[root@server2 ~]# yum install mysql-server -y
server1
server2
6、格式化共享设备（只在一台设备上操作）
[root@server1 ~]# mkfs.ext4 /dev/sdb
7、在server1、server2上更改mysql目录的权限
server1:
[root@server1 ~]# mount /dev/sdb /var/lib/mysql/
[root@server1 ~]# ll -d /var/lib/mysql/
drwxr-xr-x 3 root root 4096 Apr 22 14:20 /var/lib/mysql/
[root@server1 ~]# chown mysql.mysql /var/lib/mysql/
[root@server1 ~]# ll -d /var/lib/mysql/
drwxr-xr-x 3 mysql mysql 4096 Apr 22 14:20 /var/lib/mysql/
[root@server1 ~]#
server1
server2
8、检测服务能否正常开启
[root@server1 ~]# /etc/init.d/mysqld start
[root@server1 ~]# /etc/init.d/mysqld stop
[root@server1 ~]# umount /dev/sdb
9、将apache的单线程关掉，并且把apache服务组资源停掉
将Run Exclusive的勾去掉，并且重新submit。
Disabled service Apache
也可以用命令：
clusvcadm -d Apache
10、浏览器配置（先ip后挂载再httpd服务）
1、在Failover Domains中添加dbfail
2、在Resources中添加IP Address,File System,Script资源。
IP Address
File System
Script
3、在Service Groups中添加sql服务组
4、开启sql
11、测试
[root@server2 ~]# mysql -p
===========================
mysql> SHOW DATABASES;
mysql> QUIT
Bye
clusvcadm -e Apache #启动Apache服务组
clusvcadm -r Apache -m server2 #将Apache服务组切到server2
clusvcadm -d Apache #关闭Apache服务组
三、CLVM/GFS2集群文件系统部署
前言：
首先将上个实验的apache、sql服务组的资源停掉
clusvcadm -d Apache
clusvcadm -d sql
clustat
1、设置CLVM服务开机自启动
lvmconf --enable-cluster
cat /etc/lvm/lvm.conf | grep locking_type #为3则自启动
2、划分物理卷、逻辑卷组、逻辑卷
pvcreate /dev/sdb
vgcreate clustervg /dev/sdb
lvcreate -L 4G -n demo clustervg
lvs
3、格式化逻辑卷为GFS2集群文件系统
[root@server1 ~]# mkfs.gfs2 -t HA:mygfs2 -p lock_dlm -j 2 /dev/clustervg/demo
==============================================================================
This will destroy any data on /dev/clustervg/demo.
It appears to contain: symbolic link to `../dm-2'
Are you sure you want to proceed? [y/n] y
mkfs.gfs2
-j #: 指定日志区域的个数，有几个就能够被几个节点所挂载；
-J #: 指定日志区域的大小，默认为128MB;
-p {lock_dlm|lock_nolock}：所使用的锁协议名称，集群需要使用lock_dlm；
-t <name>: 锁表的名称
格式为clustername:fsname, clustername为当前节点所在的集群的名称
这也是为什么要使用RHCS；fsname文件系统名称，自定义，要在当前集群惟一，这也叫锁表名称，表明是分布式锁的范围。
gfs2_tool sb /dev/clustervg/demo all
4、挂载设备，更改目录的权限
mount /dev/clustervg/demo /var/lib/mysql/
ll -d /var/lib/mysql/
chown mysql.mysql /var/lib/mysql/
ll -d /var/lib/mysql/
blkid
5、测试多点挂载
server1：
mount /dev/clustervg/demo /var/lib/mysql/
[root@server1 mysql]# pwd
/var/lib/mysql
[root@server1 mysql]# cp /etc/passwd .
[root@server1 mysql]# ls
passwd
[root@server1 mysql]#
server2:
[root@server2 ~]# cd /var/lib/mysql/
[root@server2 mysql]# ls
passwd
[root@server2 mysql]#
6、将组文件永久挂载在/var/lib/mysql
vim /etc/fstab
===============
UUID="7c3da294-a84f-2f87-3592-c04263b70fa2" /var/lib/mysql gfs2 _netdev 0 0 #UUID可以通过blkid查看
====================================================================================
mount -a
7、更改浏览器设置
server1、server2：
更改之前先卸载逻辑卷：
umount /dev/clustervg/demo
先在Service Groups—sql中删除 Filesystem：
修改完，submit，很重要！！
2、删除集群资源中的dbdata
3、重新添加集群资源
4、在Service Groups——sql中添加更改后的gfs2的dbdata：
修改完，submit，很重要！！
8、测试
启动sql服务组
