dell 服务器MegaSAS RAID卡 BBU Learn Cycle周期导致iowait高

Paste_Image.png

周末线上机器有一小段时间磁盘iowait比较高导致业务方性能告警，周一和周二查了下并着力解决这个问题。发现dell的机器存在raid卡电池relearn过程，导致raid卡的而写入方式会在一小段时间从wirteBack切到writeThrough，待relearn过程完成再切换回来。

WriteBack：进行写操作时，将数据写入RAID卡缓存，并直接返回，RAID卡控制器将在系统负载低或者Cache满了的情况下把数据写入硬盘。该设置会大大提升RAID卡写性能，绝大多数的情况下会降低系统IO负载。 数据的可靠性由RAID卡的BBU(Battery Backup Unit)进行保证。
WriteThrough: 数据写操作不使用缓存，数据直接写入磁盘。RAID卡写性能下降，在大多数情况下该设置会造成系统IO负载上升。

对于LSI的MegaSAS RAID卡, 默认的Cache策略是: WriteBack, ReadAheadNone, Direct, No Write Cache if Bad BBU

查看cache策略

/MegaCli -LDInfo -Lall -aALL

查看当前的BBU Learn设置

MegaCli -AdpBbuCmd -GetBbuProperties -aALL

强制启动Learn Cycle操作

MegaCli -AdpBbuCmd -BbuLearn -aALL

IBM的服务器默认设置是30天执行一次Learn Cycle, 而DELL是90天。

在查看这个过程中发现dell的ilo时间和时区都不准确。
修改过程如下

wget -q -O - http://linux.dell.com/repo/hardware/latest/bootstrap.cgi | bash
yum -y install srvadmin-idrac7
racadm -r 10.28.1.1 -u user -p password set idrac.time.timezone Asia/Shanghai
racadm -r 10.28.1.1 -u user -p password set idarc.NTPConfigGroup.ntp1 172.2.1.1
racadm -r 10.28.1.1 -u user -p password set idrac.NTPConfigGroup.ntp2 172.2.1.2
racadm -r 10.28.1.1 -u user -p password set idrac.NTPConfigGroup.ntp3 172.2.1.3
racadm -r 10.28.1.1 -u user -p password set idrac.NTPConfigGroup.NTPEnable Enabled

参考：**
http://blog.wyliehobbs.com/index.php/2015/09/23/using-racadm-on-centos-6-rhel-6-for-dell-idrac/
http://jonamiki.com/2014/12/22/set-ntp-settings-on-a-dell-server-with-idrac7/