记录一次3ware 卡的Raid10重建

我们公司有唯一一台长城的服务器 NS3120 ，有 12 个 250G 硬盘。应该是 2005 年 8 月份左右买的，用来做公司主存储，命名主机名称用 nas 。到去年 8 月份就过了保修期。

  上周 6 突然收到很多这样的邮件警告：

Subject ： 3ware 3DM2 alert -- host: nas

20090919192526 - Controller 0

WARNING - Sector repair completed: port=2, LBA=0x1B6BD900

后来又有内容如下的警告：

20090919192925 - Controller 0

ERROR - Degraded unit: unit=0, port=2

20090919192925 - Controller 0

ERROR - Drive timeout detected: port=2

  20090919000129 - Controller 0

WARNING - SMART threshold exceeded: port=2

因为是周末邮件都是到了晚上才看到。当然服务器日志message里面也出现了很多这样的错误。

这时候我登录到nas服务器上，输入tw_cli（有很多人可能喜欢tw_cli 后直接接命令，像tw_cli info c0 u0 等，但我更喜欢先进入tw_cli的命令界面后，再进行别的操作），得到：

 

[root@nas ~]# tw_cli

//nas> info c0 u0

 

Unit     UnitType  Status         % Cmpl   Port   Stripe  Size(GB)  Blocks

-----------------------------------------------------------------------

u0       RAID-10   DEGRADED*      -      -     64K     1396.92   2929557504 

u0-0     RAID-1    OK             -      -     -       -         -

u0-0-0   DISK      OK             -      p10   -       232.82    488259584  

u0-0-1   DISK      OK             -      p11   -       232.82    488259584  

u0-1     RAID-1    OK             -      -     -       -         -

u0-1-0   DISK      OK             -      p8    -       232.82    488259584  

u 0-1-1    DISK      OK             -      p9    -       232.82    488259584  

u0-2     RAID-1    OK             -      -     -       -         -

u0-2-0   DISK      OK             -      p6    -       232.82    488259584  

u 0-2-1    DISK      OK             -      p7    -       232.82    488259584  

u0-3     RAID-1    OK             -      -     -       -         -

u0-3-0   DISK      OK             -      p4    -       232.82    488259584  

u 0-3-1    DISK      OK             -      p5    -       232.82    488259584  

u0-4     RAID-1    DEGRADED       -      -     -       -         -

u0-4-0   DISK      DEGRADED       -      p2    -       232.82    488259584  

u 0-4-1    DISK      OK             -      p3    -       232.82    488259584  

u0-5     RAID-1    OK             -      -     -       -         -

u0-5-0   DISK      OK             -      p0    -       232.82    488259584  

u 0-5-1    DISK      OK             -      p1    -       232.82    488259584  

 

//nas> info c0

 

 Unit  UnitType  Status         %Cmpl  Stripe  Size(GB)  Cache  AVerify  IgnECC

------------------------------------------------------------------------------

u0    RAID-10   DEGRADED       -      64K     1396.92   ON     OFF      OFF     

 

Port   Status           Unit   Size        Blocks        Serial

---------------------------------------------------------------

p0     OK               u0     232.88 GB   488397168     WD-WCAL76280314    

p1     OK               u0     232.88 GB   488397168     WD-WCAL76207833    

p2     DEVICE-ERROR     u0     232.88 GB   488397168     WD-WCAL73516836    

p3     OK               u0     232.88 GB   488397168     WD-WCAL73587842    

p4     OK               u0     232.88 GB   488397168     WD-WCAL75670919    

p5     OK               u0     232.88 GB   488397168     WD-WCAL76197410    

p6     OK               u0     232.88 GB   488397168     WD-WCAL73498032    

p7     OK               u0     232.88 GB   488397168     WD-WCAL73588557    

p8     OK               u0     232.88 GB   488397168     WD-WCAL76291855    

p9     OK               u0     232.88 GB   488397168     WD-WCAL76254218    

p10    OK               u0     232.88 GB   488397168     WD-WCAL76251971    

p11    OK               u0     232.88 GB   488397168     WD-WCAL76280979    

 

查看 raid 卡序列号  

//nas> info c0 serial

/c0 Serial Number = F 19302A 4430087

  查看 raid 卡型号

//nas> info c0 model

/c0 Model = 9500S-12

 

由上面的输出，显示 u0-4-0   DISK      DEGRADED       -      p2    -       232.82    488259584   这个硬盘已经降级，发现 p2     DEVICE-ERROR     u0     232.88 GB   488397168     WD-WCAL73516836 在 Port2 出现 device-error ，基本可以判定 port2 上的硬盘坏了（或者说可能快坏了，最好更换）。

拨长城 400 技术售后电话，无法接通（不再上班时间段），等到周日再拨，叫我联系苏州地区维修点。苏州维修点周日不上班，再等到周一。

这时候心里其实很着急的，因为这个主存储器上放了公司很多重要的东西，而且硬盘被频繁读写了这么多年，如果损坏影响会比较大，不过唯一比较安慰的就是从周 5 到周 6 晚上我已经完成了重要数据的备份。使用 rsync 同步 1.1T 共 8053566 个左右文件，耗时共 39.5 小时。

好不容易挨到周一，打苏州维修告诉了他们具体情况比如（机器型号，硬盘大小， raid 卡型号 3ware 9500S-12 ），因为对长城的服务器不熟，因为我们服务器不方便关机重启，然后咨询了几个问题

1.       我们这个服务器是否支持热插拔

2.       是否支持 raid 卡的 raid10 自动重建

3.       如果我自己更换一个 320G 的硬盘是否可以

4.       如果不支持我怎么自己来 rebuild

 

他们说需要查询总部，然后没消息了，打过几次电话过去给了些没用的信息，打长城总部技术支持也这样，还联系过南京维修点。共打了估计 10 次电话吧，总之都没有人回答我这几个基本问题。这次对长城服务器的售后维护这块超级不满意。到我记录为止（现在已经周 3 早上了，还没有给我明确答复）。我估计是因为可能长城不主攻服务器市场，里面的技术工程师都是桌面机的。而且他们和客户联系的好像都是普通工程师，问个什么问题都说要和后台工程师确认，而且效率超级慢，为什么不能让“厉害”的后台工程师直接和客户联系呢？ 最后看来是不能指望长城的售后了，只能自己到 3ware 的网站去翻资料，熟悉了下 9500s-12 卡，但是没有明确看到 autorebuild 功能。

因为同步过一次数据，心里稍微放心点，心想自己弄吧。如果真坏了，大不了就用我备份服务器上的数据。根据以往换别的服务器的经验，周一晚上定了块 320G 的西数企业硬盘（目前市场上很难买到 250G 的西数企业硬盘了。）周 2 拿到了硬盘，然后再次同步了下最重要的 cvs 数据。

  到了晚上，我走进机房，再次确认了下是 port2 口，拨下硬盘然后用 tw_cli info c0 u0 查看信息没任何变化。

更换托架新硬盘插入，输出信息还是没有任何变化。这个卡不支持自动 rebuild ？ 只能手动了 rebuild 了。

通过网上的资料，输入：

 

 

   我这里输入的是 p0 ，当时由于按错了本来应该输入 p2 的，哈哈，还好 RAID10, 移除一个没有问题。

错误移除了 p0 ，那就先对 p0 重建吧。

过了会查看状态：

可以看出 p0 上的硬盘已经 rebuild 完成了 40% 。 差不多 1 个半小时， P0 上的硬盘全部完成。

按照同样的方法对 p2 硬盘 rebuild.

maint remove c0 p2

maint rescan c0

maint rebuild c0 u0 p2

再等了差不多 1 个半小时全部完成。

可以看出 p2 上的硬盘是 WD-WCAT 和别的硬盘 WD-WCAL 不一样的，这个是我新换上的 320G 的硬盘。到此 raid10 修复全部完成。

  其实，最重要就是胆大（我主要是有备份所有心里不怎么担心），心细（当然不能像我这样把 p2 ，打成 p0 哦，如果你是 raid5 ，那就惨了。）

  这 2 天的担心终于可以轻松下了，以后再出现这样的硬盘问题就能很快更换上。