oracle rac 磁盘扩展采坑记录：

系统环境：VMware esxi oracle rac 11.2.0.4

昨天扩展了asm的磁盘组，FRA磁盘组和DATA磁盘组，我添加了一块硬盘320g，200g扩展到了DATA组，120g扩展到了FRA组。
因为oracle使用的是raw裸设备，扩展第一个磁盘的时候，正常进行，不用关机。

坑1：
但是扩展FRA组的时候，需要关机才能找得到第二个设备。重启之后扩展正常，建议扩展磁盘一次扩展到一个组。

坑二：
今天我看见系统盘空间不够了，就扩展了一下系统盘空间，加了一块100g的磁盘，加入到动态劵，一切都正常。
但是在我重启oracle之后，发现数据库起不来了，ora.data.dg,ora.fra.dg, ora.bol.db起不来。
我查看asm磁盘组的时候发现：
select path,header_status,state from v$asm_disk;
select name,path from v$asm_disk_stat;
我原本的7个裸设备，现在只是识别了6个，我检查了sd设备的id：ll /dev/sd。 发现sd设备的id被改掉了和我
配置在/etc/udev/rules.d/60-raw.rules的配置变化了，这个就是数据库data和fra起不来的原因。

分析原因：
我添加了共享磁盘，是在总线scsi总线1上
我添加了非共享磁盘是在总线scsi0上，但是系统默认会把scsi的总线识别在前，导致我的raw的设备编码错乱。
解决办法：
还好我记得怎么分配的空间。fdisk -l 查看对应的空间大小，根据对照/dev/sd* 的设备id，改到/etc/udev/rules.d/60-raw.rules里面。一定要对应之前的设备
编码，否则oracle就起不来了。
真的是 坑死人不偿命吗！
记录一下，免得下次再入坑