我们这个项目比较特殊,服务器用的是IBM P520小型机,型号为8203-E4A,操作系统应该使用AIX才与服务器相般配,可是却要求用linux,还好红帽有针对power的版本,我们安装的是Redhat Linux Enterprise 5.4 for power,装好linux的小机,要求连接DS3400阵列,P520安装了双口的HBA卡,阵列有两个控制器,现P520的HBA卡两口通过FC分别连至控制器A和控制器B,要求实现冗余,阵列配置为12块1TB的SATA硬盘,要求做Raid5+1 Hotspare,现在阵列已经做好了Raid。
以下操作的前提为:控制器A的网口、控制器B的网口和笔记本的网口连至一个交换机,笔记本ip配置为192.168.128.100,和控制器的ip为同一网段,在笔记本上安装storage manager管理软件对阵列进行带外管理。
做raid步骤略
一、存储部分
1、 添加主机,点击“Configure Host Access (Manual)”
2、 输入主机名“p520”,主机操作系统“Linux”,然后点击“Next”
3、 全选HBA,“Add”进去
4、 Add进去,然后点击“Next“
5、 选择非共享模式,然后Next
6、 点击Finish
7、 选择No
8、 点击Edit Host Topology,查看主机和HBA情况
==========================以上为添加主机和HBA卡部分===================
9、 点击“Create Host-to-Logical Drive Mappings“
10、 选中上面添加的主机p520,然后点击“Next“
11、 我们已经划分了一个Logical Drive 1,大小为 3.2TB,现在选中它划给p520即可,分配LUN号为0(后来我改为了1),然后点击Next
12、 显示完成,点击OK
13、 看看建好后的结果
二、RedHat Enterprise Linux5.5 for PPC部分
1、 解压多路径软件rdac
- tar zxvf rdac-LINUX-09.03.0C05.0331-source.tar.gz
- cd linuxrdac-09.03.0C05.0331/
2、 Make编译,make install
- make
- make install
3、 出现以下文字说明安装成功
4、 编辑/etc/yaboot.conf文件,红色框为加入部分
5、 重启p520,让系统从mpp启动
6、 查看阵列映射到p520上是什么设备,设备名是什么
Array_Module_0的Lun1映射到p520为/dev/sdc
那我们看看IBM System Storage DS Storage Manager 10上,看看是不是这样的
依次打开以下:
→
从上两图可以知道LUN1现在A控制器上。
7、 挂载sdc盘到/opt下,查看硬盘设备
上图有sdc和sdc1,如果没有做分区操作是不会有sdc1的,如何对sdc进行分区呢?
sdc大小为3.2TB,fdisk命令是无法支持2TB分区的,我们要使用parted命令对sdc进行分区。使用以下命令对sdc只分一个区:
- [root@jdserver /]# parted /dev/sdc
- GNU Parted 1.8.1
- Using /dev/sdc
- Welcome to GNU Parted! Type 'help' to view a list of commands.
- (parted) mklabel gpt
- (parted) print
- (parted) mkpart primary 0 3436GB
然后对sdc1进行格式化为ext3文件格式,使用命令:
- mkfs.ext3 –F /dev/sdc1
使用fdisk –l命令查看下这个分区
对sdc分区、格式化后,该挂载sdc1了
mount /dev/sdc1 /opt这样系统就可以看到sdc1上的数据了,但是重启机器后又要重新挂载,一劳永逸的办法是:
在/etc/fstab上加入(红色框部分)
这样系统就可以永久挂载sdc1分区了,执行mount –a命令重读fstab文件,使用df –h命令查看下挂载情况:
8、 多路径软件安装好了,测试一下是否可以进行故障转移
方案:现在sdc1在控制器A上,我们拔下控制器A上的FC光纤,看是否可以切到控制器B上
操作过程:在/opt下执行以下命令
- dd if=/dev/zero of=/opt/data bs=1M count=5k
这时开始向阵列写入5GB的数据,观察阵列发现阵列的硬盘狂闪,说明正在写数据,伴随这个过程,我们拔下控制器A上的FC光纤,阵列停止闪烁,过1分钟后发现阵列硬盘又开始狂闪,随后命令执行完毕,生成5GB的data文件,阵列停止闪烁。由此说明LUN1由控制器A转移到了控制器B上,可以查看IBM System Storage DS Storage Manager 10工具,
左图可见转移到了控制器B上;
这时我们在把FC插到控制器A上,过一会又默认回到了控制器A上,见右图。