Raid5+iscsi+uedv+clvm+gfs2

一、 软raid5

1、要有三个大小 一样的设备 （可以是整个硬盘，不同硬盘上的大小一样的分区）
看是否装了mdadm包
[root@vlinux ~]# rpm -q mdadm
mdadm-2.6.4-1.el5
发现已经安装上了。如果没有安装就安装。
创建软raid5:
[root@vlinux ~]# mdadm -C /dev/md0 -l 5 -n 3 /dev/sd{b,c,d}
raid5必须从md0开始。
查看raid的状态：
[root@vlinux ~]# mdadm -D /dev/md0
如果想让raid重启以后自动生效：
拷贝配置文件模板
[root@vlinux ~]# cp /usr/share/doc/mdadm-2.6.4/mdadm.conf-example /etc/mdadm.conf
查看raid的状态：
[root@vlinux ~]# mdadm -D /dev/md0
复制下面内容：
UUID : 6516e2ba:1f512390:a1f22eea:8ea78b15
编辑配置文件：
[root@vlinux ~]# vim /etc/mdadm.conf 添加两行

DEVICE /dev/sdb /dev/sdc /dev/sdd

ARRAY /dev/md0 UUID =6516e2ba:1f512390:a1f22eea:8ea78b15
如果RAID里有磁盘损坏，删除磁盘：
mdadm /dev/md0 -r /dev/sdd
然后往里面加一块新的
mdadm /dev/md0 -a /dev/sdd

二、iscsi

1、target端要装的包：
rpm -ivh scsi-target-utils-0.0-5.20080917snap.el5.i386.rpm

启动服务： service tgtd start

创建 tatget：
[root@vlinux ~]# tgtadm --lld iscsi --op new --mode target —tid 1 -T iqn.2009-06-01.com.ty.sharedisk1

创建logicalunit,一个target里可以有多个logicalunit
[root@vlinux ~]# tgtadm --lld iscsi --op new --mode logicalunit --lun 1 —tid 1 -b /dev/md0
Logicalunit 号必须从1开始。

对target做访问控制：
[root@vlinux ~]# tgtadm --lld iscsi --op bind --mode target --tid 1 -I ALL
-I 参数后面如果接IP、网段表示限制特定IP或网段访问，ALL表示所有人都能访问。

查看状态：
[root@vlinux ~]# tgtadm --lld iscsi --op show --mode target --tid 1

2、initiator
rpm -ivh iscsi-initiator-utils-6.2.0.868-0.18.el5.i386.rpm

启动服务： /etc/init.d/iscsi start
发现SAN上的SCSI设备：
[root@mail ~]# iscsiadm -m discovery -t sendtargets -p 192.168.205.2
192.168.205.2:3260,1 iqn.2009-06-01.com.ty.sharedisk1

重启服务使系统能够发现设备：
[root@mail ~]# /etc/init.d/iscsi restart
发现设备：
[root@mail ~]# ls /dev/sd*

三、undev

给每一个scsi硬盘做一个符号连接（symbolic link）,防止系统每次重启后识别scsi硬盘顺序每次都不同所带来的问题，这个工作是在initiator端做的。

启动服务：[root@mail ~]# start_udev

查看系统中scsi设备的信息：
[root@mail ~]# udevinfo -ap /sys/block/sdc/

编辑udev规则文件，必须以.rules结尾，把刚才查到的信息写到规则文件里
[root@mail ~]# vim /etc/udev/rules.d/10-test.rules
SUBSYSTEM=="block",SYSFS{size}=="4194048",SYSFS{stat}=="      22       11      264       24        0        0        0        0        0       22       24",SYMLINK+="iscsi1"

其中SYMLINK+="iscsi1" 就是给scsi硬盘的这定的符号连接
[root@mail ~]# ls /dev/iscsi1
/dev/iscsi1
四、HA＋clvm
CLVM邦定到红冒的RHCS套件里，所以作HA＋CLVM就用RHCS套件做。
先作一个apache 的HA。

HA每个节点都要安装CLVM的包：
[root@mail ClusterStorage]# rpm -ivh lvm2-cluster-2.02.40-7.el5.i386.rpm
[root@vlinux ClusterStorage]# rpm -ivh lvm2-cluster-2.02.40-7.el5.i386.rpm
每个节点都运行：
lvmconf --enable-cluster
/etc/init.d/clvmd start

在其中一个节点上建立CLVM
vgcreate /dev/iscsi1
vgcreate vgtest /dev/iscsi1
lvcreate -n lvtest -L 1G /dev/vgtest
在其他节点上：
[root@vlinux ~]# lvdisplay
--- Logical volume ---
LV Name                /dev/vgtest/lvtest
VG Name                vgtest
LV UUID                23erLf-pjZF-10Gj-nxIZ-r2aw-kv6Q-1YjArF
LV Write Access        read/write
LV Status              available
# open                 0
LV Size                1.00 GB
Current LE             256
Segments               1
Allocation             inherit
Read ahead sectors     auto
- currently set to     256
Block device           253:2

五、GFS文件系统
1、安装包： r pm -i vh gfs- utils- 0. 1. 18- 1. el 5.i 386. rpm
k mod- gfs- 0. 1. 31- 3. el 5.i 686. Rpm
制作GFS文件系统：
gfs_mkfs /dev/vgtest/lvtest -j 2 -J 32 -p lock_dlm -t apacheHA:mygfs
参数说明：j：日志个数, -J ：日志大小, - p：锁类型, - t：指定集群内 gfs 标签名
dlm ---> 分布式锁管理器: 解决多个节点之间读写冲突的问题

集群每个节点都挂载：
mount /dev/vgtest/lvtest /var/www/html/