【硬件相关】LSI MegaRAID阵列卡配置管理
一、前言
官方手册说明：StorCLI Reference Manual
华为服务器操作维护说明：华为V2&V3服务器 RAID控制卡 用户指南 49
目前市面常见的RAID卡主要是LSI MegaRAID和PMC Adaptec，前者使用命令行工具为storcli，后者使用命令行工具为arcconf
示例使用的RAID卡为LSI MegaRAID，基于storcli工具介绍raid卡配置管理实践过程。
注：如不清楚RAID卡类型，可通过lspci |grep -i "raid"查询
二、安装
由于LSI于2013年被Broadcom收购，相关软件下载可从Broadcom官网产品支持页面搜索下载
示例使用Latest StorCLI MR7.20软件版本，压缩包包含了Storcli所支持的所有系统软件包
- 下载storcli软件包
wget https://docs.broadcom.com/docs-and-downloads/raid-controllers/raid-controllers-common-files/007.2007.0000.0000_Unified_StorCLI.zip
unzip 007.2007.0000.0000_Unified_StorCLI.zip
- 根据当前使用的操作系统（示例使用CentOS7.6），安装对应软件包
cd Unified_storcli_all_os/
rpm -ivh Linux/storcli-007.2007.0000.0000-1.noarch.rpm
ln -s /opt/MegaRAID/storcli/storcli64 /usr/bin/storcli
- 查看storcli版本号
[root@node127 ~]# storcli -v
StorCli SAS Customization Utility Ver 007.2007.0000.0000 Feb 11, 2022
(c)Copyright 2022, Broadcom Inc. All Rights Reserved.
三、部署使用
1、基础语法
storcli基础语法为：storcli <[object identifier]>
- 参数表1（object identifier）
| object identifier | description |
|---|---|
| 当参数为空时，该命令为系统命令 | |
| /cx | 控制器（RAID卡）特定指令（/controller x），当服务器存在多张raid卡时，可通过指定不同控制器ID切换不同raid卡配置 |
| /cx/vx | 虚拟磁盘特定指令（/controller x/virtual driver x），可以选择指定控制器下的指定虚拟磁盘 |
| /cx/ex | 机箱面板特定指令（/controller x/enclosure x），可以选择指定控制器下的指定机箱面板如36盘位服务通常有两个机箱面板，前面板一根SAS线拖24块盘，后面板一根SAS线拖12块盘 |
| /cx/ex/sx | 插槽/物理磁盘特定指令(/controller x/enclosure x/slot x)，可以选择指定控制器下的指定机箱面板的指定磁盘 |
| /cx/fx | 外部配置特定指令（/controller x/foreign configuration x），可以选择指定控制器下的指定外部配置如磁盘残留有之前的RAID配置信息，可以选择对应磁盘进行配置清理或者导入操作 |
注:x代表数字编号，当x为all时表示所有，如/c0/vall表示控制器0下所有的虚拟磁盘
- 参数表2（verb）
| verb | description |
|---|---|
| add | 增加配置，如虚拟磁盘（VD）、热备盘（spare）等 |
| del | 删除配置，如虚拟磁盘（VD）、热备盘（spare）等 |
| set | 为属性设置特定值 |
| show | 查看选定对象所有的属性信息 |
| start | 开始一个操作 |
| pause | 暂停正在进行的操作 |
| resume | 恢复已暂停的操作 |
| suspend | 中止正在进行的操作，已中止的操作不能恢复 |
| compare | 比较输入值与系统值差异 |
| flush | 下刷控制器或者磁盘缓存 |
| import | 将外部配置导入到驱动器 |
| expand | 扩展虚拟磁盘容量 |
2、系统查看命令
-
storcli show help
查看命令帮助信息 -
storcli show [all]
该命令显示系统的控制器以及控制器相关摘要信息，包括控制器个数、主机名、操作系统信息和现有配置概述
[root@node174 ~]# storcli show
Status Code = 0
Status = Success
Description = None
Number of Controllers = 2
Host Name = node174
Operating System = Linux3.10.0-1160.62.1.el7.x86_64
System Overview :
===============
-------------------------------------------------------------------------------------
Ctl Model Ports PDs DGs DNOpt VDs VNOpt BBU sPR DS EHS ASOs Hlth
-------------------------------------------------------------------------------------
0 AVAGOMegaRAIDSAS9361-8i 8 36 6 0 6 0 Msng On 1&2 Y 3 Opt
1 AVAGOMegaRAIDSAS9361-8i 8 36 6 0 6 0 Msng On 1&2 Y 3 Opt
-------------------------------------------------------------------------------------
输出信息对照表
| 参数 | 解释 |
|---|---|
| Ctrl | 控制器索引，一个编号对应一个RAID卡，编号从0开始 |
| Model | RAID卡型号 |
| PDs | 物理驱动器，表示当前RAID卡连接硬盘个数 |
| DGs | 驱动器组，表示当前驱动器组个数，一般与VDs个数一致 |
| VDs | 虚拟驱动器，表示当前虚拟驱动器个数 |
-
storcli /cx show [all]
查看控制器相关配置信息
注：x为控制器索引，如需查看第一个控制器配置信息，可执行命令storcli /c0 show；当x为all时表示为所有，如查看所有控制器配置信息，则执行命令storcli /call show -
storcli /cx/vx show [all]
查看/指定控制器/指定虚拟驱动器配置信息
[root@node174 ~]# storcli /c0/vall show
Controller = 0
Status = Success
Description = None
Virtual Drives :
==============
--------------------------------------------------------------
DG/VD TYPE State Access Consist Cache Cac sCC Size Name
--------------------------------------------------------------
0/0 RAID6 Optl RW No RWTD - OFF 21.830 TB
1/1 RAID6 Optl RW No RWTD - OFF 21.830 TB
2/2 RAID6 Optl RW No RWTD - OFF 21.830 TB
3/3 RAID6 Optl RW No RWTD - OFF 21.830 TB
4/4 RAID6 Optl RW No RWTD - OFF 21.830 TB
5/5 RAID6 Optl RW No RWTD - OFF 21.830 TB
--------------------------------------------------------------
输出信息对照表
| 参数 | 解释 |
|---|---|
| DG/VD | 磁盘组编号/虚拟驱动器编号 |
| TYPE | 虚拟驱动器类型，可选参数为JBOD、RAID0、RAID1、RAID5、RAID6等 |
| State | 虚拟驱动器状态，可选参数为Optl(Optimal，表示正常状态)、Dgrd（Degraded，表示降低状态，如虚拟驱动器出现磁盘损坏） |
- storcli /cx/ex/sx show [all]
查看/指定控制器/指定机箱面板/指定磁盘插槽配置信息
[root@node174 ~]# storcli /c0/eall/sall show
Controller = 0
Status = Success
Description = Show Drive Information Succeeded.
Drive Information :
=================
-------------------------------------------------------------------------------
EID:Slt DID State DG Size Intf Med SED PI SeSz Model Sp Type
-------------------------------------------------------------------------------
6:1 21 Onln 0 5.457 TB SATA HDD N N 512B ST6000NM0115-1YZ110 U -
6:2 104 Onln 0 5.457 TB SATA HDD N N 512B ST6000NM0115-1YZ110 U -
10:1 231 Onln 2 5.457 TB SATA HDD N N 512B ST6000NM0115-1YZ110 U -
10:2 158 Onln 2 5.457 TB SATA HDD N N 512B ST6000NM0115-1YZ110 U -
输出信息对照表
| 参数 | 解释 |
|---|---|
| EID：Slt | 机箱面板编号:磁盘插槽编号 |
| State | 磁盘状态，可选参数为Onln(磁盘上线，即加入RAID组)、Offln(磁盘离线，即脱离RAID组)、JBOD(磁盘直通)、UGood(此状态下可用于创建RAID或热备盘) 、UBad（磁盘存在其他RAID配置，需手动设置为UGood状态）、Rbld(此状态下磁盘处于重建状态) |
| DG | 磁盘组编号，表示哪些磁盘属于同一组RAID |
| Size | 磁盘容量大小 |
| Intf | 磁盘接口类型，可选参数为SATA、SAS |
| Med | 磁盘存储介质类型，可选参数为HDD、SSD |
| SeSz | 磁盘扇区大小 |
| Model | 磁盘型号 |
3、RAID配置
3.1、处理异常状态
RAID配置之前，涉及磁盘需还原为初始状态（State为UGood，DG为-）
-
磁盘State为RAIDx
手动删除所有的虚拟驱动器：storcli /cx/vx del -
磁盘State为Ubad
手动更改指定磁盘状态为UGood：storcli /cx/ex/sx set good
storcli /c0/e10/s14 set good
-------------------------------------------------------------------------------
EID:Slt DID State DG Size Intf Med SED PI SeSz Model Sp Type
-------------------------------------------------------------------------------
10:14 233 UGood F 5.457 TB SATA HDD N N 512B ST6000NM0115-1YZ110 U -
-------------------------------------------------------------------------------
- 磁盘State为UGood，DG为F
手动删除所有磁盘外部配置：storcli /cx/fall del
storcli /c0/fall del
-------------------------------------------------------------------------------
EID:Slt DID State DG Size Intf Med SED PI SeSz Model Sp Type
-------------------------------------------------------------------------------
10:14 233 UGood - 5.457 TB SATA HDD N N 512B ST6000NM0115-1YZ110 U -
-------------------------------------------------------------------------------
3.2、配置RAID模式
- 手动创建RAID：
storcli /cx add vd type=raid[0|1|5|6|10|50|60][Size=,,..|*all][name=,..] drives=e:s|e:s-x|e:s-x,y;e:s-x,y,z
storcli /c0 add vd type=raid5 drives=6:11-12,10:1-3
3.2.1、逻辑磁盘管理
-
显示逻辑磁盘信息：
storcli /cx/vx show -
显示更详细的逻辑磁盘信息：
storcli /cx/vx show all -
手动删除逻辑磁盘：
storcli /cx/vx del -
设置逻辑磁盘写策略：
storcli /cx/vx set wrcache=wt/wb/awb
注：默认为RWTD模式，参考华为文档：开启RAID卡Cache
3.2.2、热备盘管理
-
设置磁盘为全局热备盘：
storcli /cx/ex/sx add hotsparedrive -
删除某块全局热备盘：
storcli /cx/ex/sx del hostsparedrive -
设置磁盘为某个磁盘组的局部热备盘：
storcli /cx/ex/sx add hotsparedrive dgs=x -
删除某个磁盘组的某块局部热备盘：
storcli /cx/ex/sx del hostsparedrive dgs=x
3.3、配置JBOD模式
-
开启RAID卡直通功能：
storcli /cx set jbod=on
查看配置是否设置成功：storcli /c0 show jbod -
手动设置控制器所有磁盘为JBOD模式：
storcli /cx/eall/sall set jbod -
取消JBOD模式设置：
storcli /cx/eall/sall set good force
4、RAID重构
-
设置RAID重构速率：
storcli /cx set rebuildrate=x
注：以百分比为单位，取值范围为0~100 -
查看RAID重构速率：
storcli /cx show rebuildrate -
查看某块磁盘的重构情况：
storcli /cx/ex/sx show rebuild
注：当RAID降级，对应RAID组冗余磁盘会启动数据重构操作，可通过storcli /c0/eall/sall show | grep -i Rbld查找处于重构状态磁盘的插槽ID -
暂停某块磁盘的重构任务：
storcli /cx/ex/sx pause rebuild
5、硬盘定位
点亮硬盘定位指示灯：storcli /cx/ex/sx start locate
关闭硬盘定位指示灯：storcli /cx/ex/sx stop locate
注：执行以上操作，需要先找到磁盘对应插槽位置ID，可通过以下方式查找
5.1、RAID模式
- 查找磁盘对应scsi_id
可通过lsscsi --scsi_id -g查找磁盘对应scsi_id，如示例sda磁盘scsi_id为600062b007a78de229f4c51c4adff9b7
[root@node174 ~]# lsscsi --scsi_id -g | grep sda
[0:2:0:0] disk AVAGO MR9361-8i 4.68 /dev/sda 3600062b007a78de229f4c51c4adff9b7 /dev/sg2
- 查找scsi_id对应RAID组及所属磁盘列表
可通过storcli /call/vall show all查看所有RAID组的SCSI NAA Id，如示例sda磁盘scsi_id为600062b007a78de229f4c51c4adff9b7，所属raid组为/c0/v0，所属磁盘插槽为6:1-6
[root@node174 ~]# storcli /call/vall show all
/c0/v0 :
======
--------------------------------------------------------------
DG/VD TYPE State Access Consist Cache Cac sCC Size Name
--------------------------------------------------------------
0/0 RAID6 Optl RW No RWTD - OFF 21.830 TB
--------------------------------------------------------------
PDs for VD 0 :
============
-------------------------------------------------------------------------------
EID:Slt DID State DG Size Intf Med SED PI SeSz Model Sp Type
-------------------------------------------------------------------------------
6:1 21 Onln 0 5.457 TB SATA HDD N N 512B ST6000NM0115-1YZ110 U -
6:2 104 Onln 0 5.457 TB SATA HDD N N 512B ST6000NM0115-1YZ110 U -
6:3 20 Onln 0 5.457 TB SATA HDD N N 512B ST6000NM0115-1YZ110 U -
6:4 123 Onln 0 5.457 TB SATA HDD N N 512B ST6000NM0115-1YZ110 U -
6:5 23 Onln 0 5.457 TB SATA HDD N N 512B ST6000NM0115-1YZ110 U -
6:6 84 Onln 0 5.457 TB SATA HDD N N 512B ST6000NM0115-1YZ110 U -
-------------------------------------------------------------------------------
VD0 Properties :
==============
Strip Size = 256 KB
Number of Blocks = 46879735808
VD has Emulated PD = Yes
Span Depth = 1
Number of Drives Per Span = 6
Write Cache(initial setting) = WriteBack
Disk Cache Policy = Disk's Default
Encryption = None
Data Protection = Disabled
Active Operations = None
Exposed to OS = Yes
Creation Date = 22-04-2022
Creation Time = 01:45:00 AM
Emulation type = default
Cachebypass size = Cachebypass-64k
Cachebypass Mode = Cachebypass Intelligent
Is LD Ready for OS Requests = Yes
SCSI NAA Id = 600062b007a78de229f4c51c4adff9b7
5.2、JBOD模式
- 查看磁盘对应SN号
可通过smartctl -a /dev/sdx | grep -i "Serial Number"查找磁盘对应SN号，如示例磁盘SN号为ZAD1C133
[root@node174 ~]# smartctl -a /dev/sda | grep -i "Serial Number"
Serial Number: ZAD1C133
- 查看SN号对应磁盘插槽ID
可通过storcli /call/eall/sall show all | grep -B 2 '{Serial Number}'查找对应SN号所属磁盘插槽ID，如示例磁盘SN号ZAD1C133所属插槽ID为6:3
[root@node174 ~]# storcli /call/eall/sall show all | grep -B 2 'ZAD1C133'
Drive /c0/e6/s3 Device attributes :
=================================
SN = ZAD1C133