最近公司在搞个运营平台,使用了比较新的环境,项目差不多了,于是决定抽出时间来把过程经历和大家分享下,有需要的朋友可以借鉴借鉴。

硬件环境:IBM Blade Center H HS22DS5020

系统平台:Centos 6.0

运营环境:RHCS +GFS2

这次项目的运营平台的需求集成了多个应用,共同的目的就是都能够访问共享存储,各节点能之间能都通过FC通道读取和存取文件。

管理口地址:

IBM Blade Center H 192.168.70.125  /USERID/PASSW0RD

Fibre Channel SmBRCD):192.168.70.129  /admin/password

DS5020192.168.128.101/192.168.128.102 #直接使用 DS STORAGE MANAGER 10 进行管理。

存储上需要进行的操作:创建RAID,初始化RAID,划分lun,主机与盘柜之间mapping

刀片访问控制需要java运行环境,安装完成访问的界面截图:

 

IBM刀片配置RHCS for centos6_第1张图片 

 

IBM刀片配置RHCS for centos6_第2张图片

 

IBM刀片配置RHCS for centos6_第3张图片

安装java后控制的截IBM刀片配置RHCS for centos6_第4张图片

其他的操作就是和在本地操作区别就不是很大了;另需要注意的是在远程设备支持本地iso安装系统和刀箱dvd读取;在刀箱本地安装的时候刀片之间进行切换每个刀片分别有kvm切换按钮包括(显示器和键盘鼠标光驱)

 

IBM刀片配置RHCS for centos6_第5张图片

 

 

盘柜配置界面

1.登录界面

 

IBM刀片配置RHCS for centos6_第6张图片

2创建raid界面

 

IBM刀片配置RHCS for centos6_第7张图片

3.物理设备视图

 

IBM刀片配置RHCS for centos6_第8张图片

4.创建映射(定义组、主机,创建映射)

 

IBM刀片配置RHCS for centos6_第9张图片

5.添加mapp主机步骤

 

IBM刀片配置RHCS for centos6_第10张图片

6.制定主机操作系统类型

 

IBM刀片配置RHCS for centos6_第11张图片

7.主机映射完成

 

IBM刀片配置RHCS for centos6_第12张图片

 

IBM刀片配置RHCS for centos6_第13张图片

有几台节点需要访问共享存储可定义具有访问权限的主机。

 

 

 

 

 

 

 

 

 

刀箱光纤交换机:

BRCD (刀片光纤交换配置)

#这次项目中就遇到了BRCD的问题,刀箱配置的光纤交换机模块是8GB速率,盘柜也是8GB速率、刀片标配的也是8GBHBA,但是在刀片与光纤交换机自动协商始终不能协调成8GB速率。

就涉及到光纤交换机的配置和故障诊断了。

登录方式:http://192.168.70.129(默认)

 

IBM刀片配置RHCS for centos6_第14张图片

 

IBM刀片配置RHCS for centos6_第15张图片 

 

IBM刀片配置RHCS for centos6_第16张图片

 

IBM刀片配置RHCS for centos6_第17张图片

上面贴图就是遇到的问题,在按照IBM工程师提供方法进行调试de 情况。

 

 

 

 

 

 

 

 

###

配置RHCS

软件环境:

Installed Groups:

   Base

   Chinese Support

   Console internet tools

   Debugging Tools

   Desktop

   Desktop Debugging and Performance Tools

   Fonts

   General Purpose Desktop

   Georgian Support

   Graphical Administration Tools

   Hardware monitoring utilities

   Hebrew Support

   High Availability

   High Availability Management

   Inuktitut Support

   Java Platform

   Korean Support

   Lao Support

   Large Systems Performance

   Legacy UNIX compatibility

   Legacy X Window System compatibility

   NFS file server

   Network Infrastructure Server

   Network file system client

   Networking Tools

   Optional packages

   Performance Tools

   Perl Support

   Remote Desktop Clients

   Resilient Storage

   Scientific support

   Server Platform

   Storage Availability Tools

   System Management

   X Window System

  Available Groups:

   Backup Client

   Backup Server

   Basque Support

   Belarusian Support

   Bengali Support

   Bhutanese Support

   Brazilian Portuguese Support

   Breton Support

   Bulgarian Support

   CIFS file server

   Catalan Support

   Chhattisgarhi Support

   Chichewa Support

   Compatibility libraries

   Desktop Platform

   Desktop Platform Development

   Development tools

   Directory Server

   Dutch Support

   Eclipse

   Emacs

   FTP server

   Graphics Creation Tools

   Internet Applications

   Internet Browser

   Irish Support

   KDE Desktop

   Load Balancer

   Mainframe Access

   Mongolian Support

   MySQL Database client

   MySQL Database server

   Myanmar (Burmese) Support

   Nepali Support

   Network Storage Server

   Northern Sotho Support

   Norwegian Support

   Occitan Support

   Office Suite and Productivity

   Oriya Support

   PHP Support

   Persian Support

   Polish Support

   Portuguese Support

   PostgreSQL Database client

   PostgreSQL Database server

   Print Server

   Printing client

   Scalable Filesystems

   Security Tools

   Serbian Support

   Server Platform Development

   System administration tools

   Technical Writing

   …..

   Virtualization Tools

   Walloon Support

   Web Server

   Web Servlet Engine

   Web-Based Enterprise Management

Done

[root@XX7 ~]#

Yum groupinstall “X Window System” ”High Availability” “High Availability Management” “Desktop” “General purpose Desktop”

 

 

系统涉及到:mpp、划分磁盘、格式化gfs分区,挂载

IBM DS5000/4000/3000系列都是采用LSI存储结构模式提供磁盘共享,可以到

http://www.lsi.com/sep/Pages/rdac/index.aspx 下载相对应内核版本的RDAC

rdac的安装也是很简单的,上传到系统后进入src目录make make install ;在grub中添加mpp引导的选项

查看fc通道 mppUtil –a 查看映射

Mkfs.gfs2 –p lock_dlm –t xxcluster:gfs001 –j 3 /dev/vg01/lv01

#-p 指定格式化磁盘的文件系统类型

#-t xxcluster指集群的名称,在格式化是需与cluster.conf中的集群名称一致

#-j 3 集群提供挂载的客户端数

Centos6 中默认没有了system-config-cluster luci ricci 代替,

在配置rhcs是需要在待加入集群的机器中启动luci和每台都启动ricci也就是11111端口,不然web admin时报错。

通过web配置的方法和system-config-cluster 有了不少的改变,不过大体上还是能够理解和配置的。

配置文件默认保存在/etc/cluster/cluster.conf

#注:centos6 系统的安全级别默认都已经很高,iptablesselinux安装系统时都没选项进行防火墙或selinux关闭开启。

 

 

 

 

 

Rhcs 配置文件:

 

#集群的名称,GFS分区时须一致#mkfs.gfs2 -p lock_dlm -t XXcluster:GFS2 -j 3 /dev/sdb

        

                   #节点信息

                           

                                    

                                               #单节点fence,注意配置刀片的fence的插槽 ,刀片需要注意的就是port=“所在的刀箱插槽”

                                    

                           

                  

                  

                           

                                    

                                              

                                    

                           

                  

                  

                           

                                    

                                              

                                    

                           

                  

        

         #制定cman tcp 端口方便iptables同时还要开启组播协议ICMP

        

                   #刀片自带的fence设备

        

        

                  

                  

        

 

 

 

 

 

#切换测试

上述为基础rhcscluster配置,fileover resource都为做配置。

 

故障切换测试

最开始测试的时候总是不能自动切换,直接掉电一台机器,其他的节点就访问不了共享,如果手动停止服务测试正常。

实际情况是不允许共享存储访问不正常的,为了避免这种现象我们可进行以下几点测试:

1.       集群中down心跳的网口看是否正常

2.       停止cman 主服看集群共享存储是否正常

3.       直接物理掉电看查看集群节点状态和共享存储状态。

 

 

 

 

上述为项目设备使用和系统简单的配置使用说明。