Oracle 11g RAC安装注意事项杂记

本文仅仅用于记录在平时安装oracle rac过程中出现的一些问题记录，后面如果遇到小细节问题也是补充进来。

1. HAIP hosts文件双内联网卡配置示例：

# vi /etc/hosts  
127.0.0.1            localhost.localdomain localhost    
192.168.0.6          db1 
192.168.0.7          db2 
192.168.0.8          db1-vip    
192.168.0.9          db2-vip    
10.10.10.10          db1-priv1    
20.20.20.10          db1-priv2    
10.10.10.20          db2-priv1    
20.20.20.20          db2-priv2

2. 配置多网卡绑定(可选功能)

说明:    
(1) 同一个交换机上要做两个端口绑定即可, 服务器配置按如下配置即可，提示要先加载bonding到内核中。    
(2) 服务器上两个网卡分别接入两个不同交换机上的话，只能采用主备模式，个人感觉存在不稳定因素，比如要强制手动配置网关。    
(3) 服务器上两个网卡分别接入一个交换机上，如果不配置交换机绑定模式，只能采用主备模式。    
(4) Oracle 11.2.0.2 RAC以后版本最多支持4个内联网卡提高性能，不需要绑定，可以根据情况适当采用多网卡部署。    

3. Oracle 11g RAC iptables配置，本来数据库一般是不配置防火墙的，但是各种因素要求配置，好不容易找到一个国外一个文章配置，经安装实践与应用没有出现问题。

iptables -P OUTPUT ACCEPT  
iptables -A INPUT -i lo -j ACCEPT    
iptables -A INPUT -p icmp -m icmp --icmp-type 8 -j ACCEPT 
iptables -A INPUT -p tcp -m tcp --dport 22 -j ACCEPT    
iptables -A INPUT -m state --state NEW -m tcp -p tcp -s 192.168.0.0/24 --dport 1521 -j ACCEPT    
iptables -A INPUT -p all -m state --state ESTABLISHED,RELATED -j ACCEPT    
iptables -A INPUT -s 192.168.0.6/32 -i eth0 -j ACCEPT    
iptables -A INPUT -s 192.168.0.7/32 -i eth0 -j ACCEPT    
iptables -A INPUT -s 192.168.0.8/32 -i eth0 -j ACCEPT    
iptables -A INPUT -s 192.168.0.9/32 -i eth0 -j ACCEPT    
iptables -A INPUT -s 192.168.0.10/32 -i eth0 -j ACCEPT    
iptables -A INPUT -i eth1 -j ACCEPT    
iptables -A INPUT -i eth2 -j ACCEPT    
iptables -A INPUT -s 10.10.10.0/24 -d 230.0.1.0 -j ACCEPT    
iptables -A INPUT -s 10.10.10.0/24 -d 224.0.0.251 -j ACCEPT    
iptables -A INPUT -s 20.20.20.0/24 -d 230.0.1.0 -j ACCEPT    
iptables -A INPUT -s 20.20.20.0/24 -d 224.0.0.251 -j ACCEPT    
iptables -A INPUT -i eth0 -d 230.0.1.0   -j ACCEPT    
iptables -A INPUT -i eth0 -d 224.0.0.251 -j ACCEPT    
iptables -A INPUT -p all -m state --state INVALID,NEW -j DROP    
iptables -P INPUT DROP

service iptables save

4. 对于Linux 6.x 平台，可能会发现在limits.conf文件中对参数nproc的修改会被忽略。

# vi /etc/security/limits.d/90-nproc.conf

# 修改成如下内容来实现对nproc的限制：

*          soft    nproc     16384  
root       soft    nproc     unlimited

5. 关闭THP

在RedHat6, OEL6, SLES 11或UEK2内核上，请确认关闭THP（Transparent HugePages）以防止其带来的性能问题导致节点和实例驱逐。

参考文档：  
ALERT Disable Transparent HugePages on SLES11 RHEL6 OEL6 and UEK2 Kernels(Doc ID 1557478.1)

# vi /etc/rc.local

echo never > /sys/kernel/mm/transparent_hugepage/enabled  
echo never > /sys/kernel/mm/transparent_hugepage/defrag

6. 配置ESXi5.1共享存储

VMware ESXi 5.1安装RHEL6.5 11G RAC，采用虚拟机磁盘做为共享存储磁盘。说明一下需要注意的地方.  
SCSI控制器选择  LIS Logic并行,类型选择"虚拟","虚拟"磁盘可以在同一台服务器上共享,磁盘的虚拟设备节点选择1:1,1:2依次类推,这里添加了6块共享磁盘。    
node1创建磁盘之后,node2选择已有磁盘,选择路径添加即可.    
在node1,和node2的vmx配置文件中添加以下语句,否则无法获取磁盘UUID    
disk.enableUUID = "TRUE"    
说明：这种环境个人感觉还是稳定性不高，测试环境搭建用用还行，也出现过莫明的问题，没有采用共享存储方式可靠。

7. EMC存储 udev方式配置ASM磁盘 udev配置文件示例

EMC存储配置udev文件格式不一样，起码与IBM等存储不一样，所以这里特别记录之，需要在/etc/udev/rules.d 目录上新增了50-udev.rules 文件，redhat 5 下面就有这个文件，到redhat 6下就没了,并把下列信息加入50-udev.rules，现在在oracle上已经可以正常安装asm了  
vi /etc/udev/rules.d/50-udev.rules

SUBSYSTEM=="block", KERNEL=="emcpowera1", GROUP="asmadmin", OWNER="grid", MODE="0660"  
SUBSYSTEM=="block", KERNEL=="emcpowerb1", GROUP="asmadmin", OWNER="grid", MODE="0660"    
SUBSYSTEM=="block", KERNEL=="emcpowerc1", GROUP="asmadmin", OWNER="grid", MODE="0660"    
SUBSYSTEM=="block", KERNEL=="emcpowerd1", GROUP="asmadmin", OWNER="grid", MODE="0660"    
SUBSYSTEM=="block", KERNEL=="emcpowere1", GROUP="asmadmin", OWNER="grid", MODE="0660"    
SUBSYSTEM=="block", KERNEL=="emcpowerf1", GROUP="asmadmin", OWNER="grid", MODE="0660"    
SUBSYSTEM=="block", KERNEL=="emcpowerg1", GROUP="asmadmin", OWNER="grid", MODE="0660"    
SUBSYSTEM=="block", KERNEL=="emcpowerh1", GROUP="asmadmin", OWNER="grid", MODE="0660"    
SUBSYSTEM=="block", KERNEL=="emcpoweri1", GROUP="asmadmin", OWNER="grid", MODE="0660"    
SUBSYSTEM=="block", KERNEL=="emcpowerj1", GROUP="asmadmin", OWNER="grid", MODE="0660"    
SUBSYSTEM=="block", KERNEL=="emcpowerk1", GROUP="asmadmin", OWNER="grid", MODE="0660"