搞了好多oracle rac，都用的是共享存储。双控制器加满配磁盘，15000转的sas插满插槽，做成raid 10，代价还是挺大的。近期在做开源超融合测试，取得了非常理想的效果：去中心化、高可用、开源且成本低，能实现任意一物理机故障时，运行其上的虚拟机自动漂移。不光解决了服务器虚拟化的高可用性，同时也可把桌面虚拟化也整合进来。
于是乎，我就想用这套平台部署oracle 12c rac，不需要共享存储，可用性比外挂存储高了很多，而且io负荷也远比共享存储低。大致的规划是这样的：
1、准备3-4个物理服务器，配置完全相同，至少两个网卡。
2、物理服务器组成去中心化的集群，并部署好集成的分布式文件系统ceph。
3、创建若干虚拟机，分布于不同的物理宿主机。
4、选择三个虚拟机，这几个虚拟机位于不同的物理宿主服务器。其中两个用于安装oracle 软件，剩下一个虚拟机安装openfiler，做为iscsi服务。本来ceph可以直接提供给oracle使用，但配置起来还是很繁复的。
假定任意物理服务器发生故障，运行其上的虚拟机，不管是啥应用，都会自动故障转移，从而保证业务的可用性。有幸得到志超兄弟的大力支持，提高了一个性能强悍的proxmox集群环境。
好家伙，六个节点，只要有2个物理服务器活着，其它机器随便死都没事。在安装部署之前，先来看看存储的情况，耶！2T多，足够我测试使用呢！
接下来，创建三个虚拟机。这些虚拟机，全部创建在分布式存储上，才可用实现虚拟机的高可用。由于已经准备好前边所需的环境，关于proxmox集群、pveceph部署及创建存储池，我就没必要再来一遍。当然，我后边打算写文档，介绍这些过程。
创建虚拟机
从proxmox的web管理界面，创建两个虚拟机，其配置如下图所示：
使用了两个磁盘，一个磁盘安装centos7，另外一个用来oracle软件的安装目录。两个网卡，有一个是用于oracle心跳检测的。在虚拟机上安装centos7不是什么难事，这里不再描述。
创建好的虚拟机，两个oracle 、一个openfiler，创建完毕以后，都需要加入高可用集群里。操作方法是：选中虚拟机-->更多（在管理界面右上角）-->管理ha，选取事先创建好的高可用组，并对请求状态进行选择（默认是start,代表虚拟机漂移后处于启动状态）。
只有加入高可用集群组，物理节点发生故障，运行其上的虚拟机才会自动漂移到正常的其它物理节点。
检查虚拟机的网络连接情况，保证各虚拟机的互通性。计划安装oracle rac的两节点，心跳网络也要是通常的。
openfiler存储配置
以iscsi服务把磁盘空间提供给安装oracle rac的系统，openfiler安装过程比较简单，也不再进行描述。
以web界面登录openfiler管理后台，启用iscsi服务。
创建物理卷、逻辑卷、逻辑单元映射，皆在此web界面上完成。只要规划合理，一次就可以完成全部配置。如果觉得不合适，删除掉再来一遍即可。
挂载iscsi磁盘
只需简单几个步骤，即可在主机上挂接好iscsi共享磁盘，并且使之随系统开机启动。
○启动iscsi服务。Centos默认可能没有安装熟悉而好用的ntsysv，yum安装一个吧。执行ntsysv吧iscsi项选上，下次开机，iscsi服务就自动起来了。
○扫描iscsi目标，并记录下输出信息，指令如下：
[root@db115 ~]# iscsiadm -m discovery -t sendtargets -p 172.16.35.107
172.16.35.107:3260,1 iqn.2006-01.com.openfiler:tsn.3ceca0a95110
需要的就是数字“1”后边加粗的部分信息。
○挂接目标磁盘，指令如下：
# iscsiadm -m node -T iqn.2006-01.com.openfiler:tsn.3ceca0a95110 –l
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:tsn.3ceca0a95110, portal: 172.16.35.107,3260] (multiple)
Login to [iface: default, target: iqn.2006-01.com.openfiler:tsn.3ceca0a95110, portal: 172.16.35.107,3260] successful.
○磁盘挂接验证，两个主机都执行一次，指令如下：
[root@db115 ~]# fdisk –l
...……………………………省略…………………………………
Disk /dev/sdc: 51.2 GB, 51170508800 bytes, 99942400 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk /dev/sdd: 122.9 GB, 122876329984 bytes, 23×××832 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk /dev/sde: 10.2 GB, 10234101760 bytes, 19988480 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
以此法共享出三个卷，并挂接在每一个节点上。
部署oracle 12c rac
鉴于本人曾经发布过oracle 12c rac部署的文章，而且非常详细，这里就不打算再重新写一次或者再来个复制粘贴。猛搓此处可直达目标
测试oracle可用性
实例、监听器等都正常运行以后，暴力关掉任意一个物理节点。从proxmox的web管理界面观察虚拟机漂移状况。同时试着访问oralce集群实例，故障转移完毕，再把关闭了的物理节点加入集群（开机就自动加入了），检查整个集群的状态。稳定后，再换一台物理节点暴力关机，检查oracle rac集群的可用性是否正常。