Dell R410 安装有Centos6.2系统

硬件须知:
1、R410服务器需要购买安装SAS HBA卡,插在pcie槽,一个即可,想做备份就插2个;
2、MD3200一个控制器模块可以连接4个服务器,不含冗余和备份;
3、如果连接4台服务器需要4条SAS线,如果做备份的话,只能连2台服务器,每个服务器接两条;

硬件连接按照说明书即可(一条SAS线从服务器连接md3200,一条网线用于带外管理)。

具体应用:

1、为了方便采用带外管理方式,用笔记本电脑安装光盘所带的管理软件;
2、配置地址192.168.128.200连接MD3200的mgmt地址,192.168.128.101/102;
3、按照提示操作,配置raid类型和需要创建的磁盘,并将磁盘映射至服务器;
4、Centos6.2采用multipathd软件进行多路径管理;
先用dell md3200安装光盘,安装linux下的软件,备用,./autorun即可。

启动
#service multipathd start

扫描阵列
#rescan_dm_devs

查看映射来的磁盘
# multipath -ll
May 09 00:13:34 | multipath.conf line 101, invalid keyword: polling_interval
May 09 00:13:34 | multipath.conf line 109, invalid keyword: prio_callout
May 09 00:13:34 | multipath.conf line 116, invalid keyword: polling_interval
May 09 00:13:34 | multipath.conf line 124, invalid keyword: prio_callout
May 09 00:13:34 | multipath.conf line 131, invalid keyword: polling_interval
May 09 00:13:34 | multipath.conf line 139, invalid keyword: prio_callout
May 09 00:13:34 | multipath.conf line 146, invalid keyword: polling_interval
May 09 00:13:34 | multipath.conf line 154, invalid keyword: prio_callout
mpathb (36d4ae52000813c40000003964fa7047c) dm-2 DELL,MD32xx
size=27T features='3 queue_if_no_path pg_init_retries 50' hwhandler='1 rdac' wp=rw
`-+- policy='round-robin 0' prio=6 status=active
  `- 1:0:0:0 sdb 8:16 active ready running#multipath -ll
mpath1 (36d4ae52000890a8e000003be4f8b19b9) dm-3 DELL,MD32xx
[size=15T][features=3 queue_if_no_path pg_init_retries 50][hwhandler=1 rdac][rw]
\_ round-robin 0 [prio=100][active]
\_ 1:0:0:1 sdd 8:48 [active][ready]

那个错误提示是说multipath.conf这个配置文件中有些行使用了不能识别的关键字. 一般是配置文件的版本问题. 不过一般来说multipath跑默认设置就好了,所以您可以先把出错的行注释掉。

MBR分区表:(MBR含义:主引导记录)
所支持的最大卷:2T (T; terabytes,1TB=1024GB)
对分区的设限:最多4个主分区或3个主分区加一个扩展分区。
GPT分区表:(GPT含义:GUID分区表)
支持最大卷:18EB,(E:exabytes,1EB=1024TB)
每个磁盘最多支持128个分区
用 parted 建立大小超过2T的分区

由于单块硬盘的容量不断增大,价格也很便宜,现在2TB的硬盘已经很常见,而传统的MBR方式存储使很多分区工具不能正常读取大于2TB的磁盘而无法分区大于2TB的磁盘,linux提供parted工具可以很好的支持大磁盘分区。
Parted和fdisk很相似,也是命令行工具,但是parted分区是实时的,只要开始执行分区,就实实在在的分区啦,而不像fdisk工具需要执行w后才开始分区,所以使用parted分区的时候一定要注意,看清楚在下手。

分区,磁盘空间大于2T,采用gpt
#parted /dev/mapper/mpathb

(parted)mklabel gpt
(parted)mkpart primary 0% 100%
primary指分区类型为主分区,0是分区开始位置,100%是分区结束位置
(parted)print
查看分区设置

Model: Linux device-mapper (multipath) (dm)
Disk /dev/mapper/mpathb: 30.0TB
Sector size (logical/physical): 512B/512B
Partition Table: gpt

Number  Start   End     Size    File system  Name     Flags
 1      1049kB  30.0TB  30.0TB               primary

 

将新分区加入分区列表
#kpartx -a /dev/mapper/mpathbp1

虽然ext4 的 feature list 有支持 > 16TB, 不过.... 那目前来看就只是设计目标, 因为 e2fsprogs 不支持 > 16TB,所以只能换成xfs文件格式,centos6.2的内核支持XFS,所以只要安装xfs软件就可以了

#yum install xfsprogs*

格式化文件系统
#mkfs.xfs /dev/mapper/mpathbp1

挂载
#mkdir /md3200
#mount /dev/mapper/mpathbp1 /md3200

查看分区状况
# df -hT
Filesystem    Type    Size  Used Avail Use% Mounted on
/dev/mapper/vg_ffmpeg-lv_root
              ext4     50G  4.9G   42G  11% /
tmpfs        tmpfs    7.8G     0  7.8G   0% /dev/shm
/dev/sda1     ext4    485M   61M  399M  14% /boot
/dev/mapper/vg_ffmpeg-lv_home
              ext4    208G  188M  197G   1% /home
/dev/mapper/mpathbp1
               xfs     28T   33M   28T   1% /md3200

最后加入到/etc/fstab开机挂载

/dev/mapper/mpathbp1    /md3200              xfs     defaults        1 2

Device Mapper 命令

命令

说明

multipath -h

打印使用信息

multipath -ll

使用所有可用信息(sysfs、Device Mapper、路径检查程序等信息)显示当前多路径拓扑

multipath

使用简化输出重新集合多路径设备。

multipath -f

对特定多路径设备清除 Device Mapper。在删除基本物理设备或取消其映射时使用。

multipath -F

清除所有未使用的多路径设备映射。

rescan_dm_devs

Dell 提供的脚本。强制重新扫描主机 SCSI 总线,并根据需要集合多路径设备。适用情况:

  • LUN 动态映射至主机。
  • 有新目标添加至主机。
  • 需要恢复存储阵列的故障。

 


限制和已知问题

  • 在某些错误情况下,如果已设置 no_path_retry 或 queue_if_no_path 功能,则应用程序可能会挂起。要克服这些情况,必须为每个受影响的多路径设备输入以下命令:

     

dmsetup message [device] 0 "fail_if_no_path"(dmsetup message [设备] 0 "fail_if_no_path")

其中 [设备] 是多路径设备名称(例如 mpath2,但是不指定路径)。

  • 如果在卸载卷之前删除了 Device Mapper 设备,I/O 可能会挂起。

     
  • 如果 scsi_dh_rdac 模块未包含在 initrd 中,设备搜索可能变得更缓慢,并且系统日志可能会写满缓冲区 I/O 错误信息。

     
  • 如果主机服务器或存储阵列在 I/O 活动时重新引导,则 I/O 可能会挂起。在关闭或重新引导主机服务器或存储阵列之前,应该停止存储阵列的所有 I/O。

     
  • 对于 MD3200 系列阵列,在恢复发生故障的路径之后,由于驱动程序无法在没有强制重新扫描的情况下自动检测设备,因此未自动完成故障恢复。运行命令 rescan_dm_devs 强制重新扫描主机服务器。由此可恢复发生故障的路径,并激活故障恢复。

     
  • 如果主机系统正在执行繁重的 I/O 操作,则故障恢复可能会很慢。此时若主机服务器的 CPU 利用率也很高,则会加剧该问题。

     
  • 如果主机系统正在执行繁重的 I/O 操作,则 Device Mapper 多路径服务可能会很慢。此时若主机服务器的 CPU 利用率也很高,则会加剧该问题。

     
  • 如果未将根磁盘列入 multipath.conf 文件中的黑名单,则可为根磁盘创建多路径节点。命令 multipath -ll 会列出有助于确定该问题的供应商/产品 ID。

     


故障排除

问题

解答

如何确定 multipathd 是否正在运行?

运行以下命令

/etc/init.d/multipathd status

为什么 multipath -ll 命令的输出未显示任何设备?

先请验证是否搜索到设备。命令 #cat /proc/scsi/scsi 可显示所有已搜索到的设备。

然后验证 multipath.conf 确保已用适当的设置将其更新。

此后运行 multipath。然后再运行 multipath -ll 就应显示新设备。

为什么没有为新映射的 LUN 分配多路径设备节点?

在任意目录下运行 rescan_dm_devs。由此可调出设备。

如果先前没有映射任何 LUN,然后映射了部分 LUN。则在运行 rescan-scsi-bus.sh 之后无法显示 LUN 0。

运行 rescan_dm_devs 而非 rescan-scsi-bus 以重新配置 LUN 0。

已移除 LUN,但多路径映射依然存在。

移除 LUN 后,多路径设备依然存在。运行 multipath -f <已删除 LUN 的设备节点> 以移除多路径映射。例如,如果删除与 /dev/dm-1 相关的设备,则必须运行 multipath -f /dev/dm-1 从 DM 映射表删除 /dev/dm-1。如果已停止/重新启动多路径守护程序,则应运行 multipath -F 清除所有失效的映射。

阵列未执行预期的故障恢复。

有时底层驱动程序不能自动检测随阵列回归的设备。运行 rescan_dm_devs 重新扫描主机服务器 SCSI 总线,并在多路径层重新集合设备。