一次AIX LVM PV重复PVID故障处理记录

 故障背景：客户需要把AIX 5.3.10上的一些VG做两台存储之间的LVM级别的Mirror，存储使用的是两台EMC DMX3，但是由于两套SAN存储之前是使用EMC的软件做存储级别的Mirror，所以就出现了一些匪夷所思的问题。

 

需要做LVM Mirror的VG名叫vga，其所拥有的PV为hdiskpower0和hdiskpower1，新存储划分过来的两个新LUN系统识别为hdiskpower15和hdiskpower16。现有的最新的生产数据是放在hdiskpower0和1里面，而hdiskpower15和16对应的LUN是在2013年的时候就停止了存储层面镜像，所以生产数据是停留到2013年的。

 

存储Mapping了新LUN，系统做了cfgmgr之后，发现hdiskpower15和hdiskpower0的PVID完全一样，hdiskpower16和hdiskpower1的PVID完全一样，15和16也属于vga，状态都为active。

 

对于AIX的LVM来讲，PVID一样意味着系统将会把它识别为同一块盘，但由于hdiskpower0/15以及1/16在此前是做了存储层面的镜像，所以会出现PVID一样的情况，但是实际上这种现象是不正常的，它会造成系统的ODM库对vga的信息识别混乱。

 

故障发生在重启LPAR分区之后，按照正常的起HA的流程，一切都正常。应用启动完之后，应用开发人员在检查应用的时候，发现vga里面的生产LV的文件系统里面的数据最新的只是到2013年，也就是说近三年的生产数据都不见了！

 

此时有怀疑过激活的vga使用的是hdiskpower15和16（因为4个PV的状态都是显示为active），使用lsvg –p vga命令查看vga的PV，结果显示为hdiskpower0和1。但是这个地方是不正常的，因为由于0/15和1/16之前是存储层面完全镜像，所以VGDA信息里面存的都是hdiskpower0/1，也就是说，即使系统激活vga使用的是hdiskpower15/16，它读到的VGDA里面也会认为hdiskpower15是hdiskpower0，hdiskpower16是hdiskpower1，所以lsvg –p vga显示的也是0/1，但是由于生产数据时间对不上，很明显vga激活时使用的是旧的存储数据，但是系统会误认为激活的是hdiskpower0/1，因为ODM库里面根本就没有hdiskpower15/16的信息。

 

于是varyoffvg vga之后手工把hdiskpower15/16做rmdev –dl操作，删除这两个PV以及对应的hdiskX路径盘，此时varyonvg vga，再挂载生产LV的文件系统，发现最新的数据是今天的了。

 

但新问题又出现了，lsvg –l vga查看LV的时候发现，有两个重要的生产LV的文件系统，类型显示为???，正常情况下类型应该显示的是jfs2。尝试手工mount那两个LV对应的文件系统，系统提示LV找不到。

 

由于怀疑到可能是VG的ODM信息混乱，在二线指导下，把vga先exportvg，再importvg回来，那两个LV的状态就变成jfs2的正常状态了。于是正常起HA，检查应用一切正常。

 

后面得知，那两个重要的生产LV的文件系统是在2013年之后才创建的，也就是说还是ODM信息混乱了，导致系统找不到那两个LV。Export再Import操作，是为了同步系统ODM库里面vga的信息。

 

最后，还是要把hdiskpower15和16处理一下，因为现在vga是激活状态，15和16影响不到生产数据，但是如果不把PVID干掉，下次重启系统自动激活vga的时候，还是会出现激活错误的PV这种情况。使用如下命令把15和16的PVID清掉：

chdev –l hdiskpower15 –a pv=clear

chdev –l hdiskpower16 –a pv=clear

 

苦逼的系统运维啊，各种锅各种背，唉。

还好生产数据没丢，要生产数据丢了就得死翘翘了。