vmware+rac
1 创建共享磁盘
a)通过命令提示符在，vmware安装目录下执行vmware-vdiskmanager.exe
vmware-vdiskmanager.exe -c -s 850Mb -a ide -t 0 E:\sharedisk\sharedisk.vmdk 或则
vmware-vdiskmanager.exe -c -s 20GB -a lsilogic -t 2 E:\sharedisk\sharedisk.vmdk
在E:\sharedisk\中会发现新增了sharedisk.vmdk和sharedisk-flat.vmdk
b)修改每个虚拟机的.vmx文件，添加
disk.locking = "FALSE"
scsi[n].sharedBus = "TRUE"//n的值要酌情修改
并且还要添加(不然数据不同步，而且mounted.ocfs -f只能看到一个节点)
diskLib.dataCacheMaxSize = "0"
diskLib.dataCacheMaxReadAheadSize = "0"
diskLib.DataCacheMinReadAheadSize = "0"
diskLib.dataCachePageSize = "4096"
diskLib.maxUnsyncedWrites = "0"
然后每个虚拟机添加该磁盘，虚拟机起动后执行fdisk就会发现有个新磁盘
注：
a)所有虚拟机的磁盘号都要不同(1:0与1:1相同、而与2:0不同)，不然数据不同步。
b)共享磁盘必须格式化为主分区。
c)防火墙(端口)，SElinux没有关闭导致，两边的配置/etc/init.d/o2cb configure必须要相同
2 系统配置(所有节点)
a)创建用户和组(用户和组的id在每个节点上都要相同)
groupadd -g 1001 dba
groupadd -g 1002 oinstall
useradd -u 1001 -g oinstall -G dba oracle
useradd nobody//匿名用户一般都存在
b)配置网络
1)配置ip
2)在/etc/hosts中配置主机名解析(vip,rip,priv ip。主机名不能出现在回环网卡中。)
注：虚拟ip不要在网卡中配置，不然报错：
the node(s) ,rip1,rip2,does not appear to be rachable via the private node name.
please check that all the nodes in the node list are reachable via both their public and private node names
而私有ip要在网卡里和hosts文件中配置。如果值在hosts里写名，而没有在网卡配置，则报错：
you have specified appears to be already assigned to another system on the network.please ensure that the virtual
3)配置ssh证书验证
注：所有节点都必须向其它节点执行一下ssh，然后输入yes。不然安装crs时出现如下错误:
The specified nodes are not clusterable
c)配置内核/etc/sysctl.conf,然后执行sysctl -p
kernel.sem=250 32000 100 128
kernel.shmmni=4096
kernel.shmall=2097152
kernel.shmmax=2147483648
net.ipv4.ip_local_port_range=1024 65000
net.core.rmem_default=1048576
net.core.rmem_max=1048576
net.core.wmem_default=262144
net.core.wmem_max=262144
d)设置shell对资源的限制
/etc/security/limits.conf
oracle soft nproc 2047
oracle hard nproc 16384
oracle soft nofile 1024
oracle hard nofile 65536
/etc/pam.d/login (以上对oracl的资源限制才会生效)
session required /lib/security/pam_limits.so
3 创建共享磁盘文件系统(在一个节点上执行就行)
a)找到相应的安装包ocfs2-tools,ocfs2-[Version],ocfs2console。安装软件
问题：Could not start cluster stack.this must be resolved before any ocfs2 filesystem can be mounted
原因：ocfs2-2.6.18-8.el5-1.2.9-1.el5.i686.rpm 版本不对
问题：o2cb_ctl: Unable to access cluster service while creating node Could not add node node1
解决：删除/etc/ocfs2/下的cluster.conf，重新配置
b)创建分区(注：创建为主分区)重启所有节点。
c)执行ocfs2console(Tesk->Format.....Cluster->Configure Nodes,Propagate Configuration)
配置o2fs(所有节点)
a)/etc/init.d/o2cb configure
b)启动服务/etc/init.d/o2cb start
c)挂载文件系统。
mount -t ocfs2 /dev/sda1 /orac/orahome
mount -t ocfs2 -o datavolume,nointr /dev/sda2 /orac/oradata
d)启动自动挂载，编辑/etc/fstab
/dev/sda1 /orac/oradata ocfs2 _netdev,datavolume,nointr 0 0
/dev/sda2 /orac/oraohome ocfs2 _netdev 0 0
_netdev：网络启动前不挂载
nointr：读写数据时不中断
e)查看mounted.ocfs2 -f
4 安装crs
安装前检测： 安装目录里/cluvfy/runcluvfy.sh stage -pre crsinst -n rac1,rac2 -verbose
安装目录的权限 root.oinstall(775)，以oarcle用户安装
can't connect to X11 window server using
解决：不要用root登陆，然后su - oracle。而应该直接用oracle登陆安装。
解决：对于vip,只需在/etc/hosts里写明即可，不需要网卡里配置。
specify a shared raw partition or cluster file system file
解决：不要在磁盘上提前建目录，因为它们是文件。
执行 /data/racdata/cluster_10.0.2/root.sh时：
PROT-1: Failed to initialize ocrconfig
解决：挂挂载磁盘时加上datavolume
fatal cluster error encountered(PRKC-1071):nodes rac02 did not respond to ping in 30 seconds
解决：重启
bin/java: error while loading shared libraries: libpthread.so.0: cannot open shared object file: No such file or directory
解决：注释srvctl 中的两行
LD_ASSUME_KERNEL=2.4.19
export LD_ASSUME_KERNEL
crs/bin/crsctl.bin: error while loading shared libraries: libpthread.so.0: cannot open shared object file: No such file or directory
解决：注释vipca中arch=`uname -m`以下的五行
重装ocr时，删除/etc/ora* ，/hoem/orale/oraI*
启动数据库时sql>startup 报错：
ORA-00304: requested INSTANCE_NUMBER is busy
sql>connect sys/123456@rac02_orcl
ORA-12154: TNS:could not resolve the connect identifier specified
解决：
1 sqlnet.ora中，改为NAMES.DIRECTORY_PATH= (TNSNAMES, HOSTNAME, ONAMES)
2 设置ORACLE_HOME,ORACLE_SID(SID号从network/admin/tnsnames.ora中查看)
启动数据库时sql>startup 报错：
ORA-29760: instance_number parameter not specified
解决：在哪个node上启动，就要设置相应的ORACLE_SID，比如ORACLE_SID=ora1
5 安装oracle
转载：http://hi.baidu.com/baoyu05/blog/item/fecc66222cd138ad4723e81b.html
a)通过命令提示符在，vmware安装目录下执行vmware-vdiskmanager.exe
vmware-vdiskmanager.exe -c -s 850Mb -a ide -t 0 E:\sharedisk\sharedisk.vmdk 或则
vmware-vdiskmanager.exe -c -s 20GB -a lsilogic -t 2 E:\sharedisk\sharedisk.vmdk
在E:\sharedisk\中会发现新增了sharedisk.vmdk和sharedisk-flat.vmdk
b)修改每个虚拟机的.vmx文件，添加
disk.locking = "FALSE"
scsi[n].sharedBus = "TRUE"//n的值要酌情修改
并且还要添加(不然数据不同步，而且mounted.ocfs -f只能看到一个节点)
diskLib.dataCacheMaxSize = "0"
diskLib.dataCacheMaxReadAheadSize = "0"
diskLib.DataCacheMinReadAheadSize = "0"
diskLib.dataCachePageSize = "4096"
diskLib.maxUnsyncedWrites = "0"
然后每个虚拟机添加该磁盘，虚拟机起动后执行fdisk就会发现有个新磁盘
注：
a)所有虚拟机的磁盘号都要不同(1:0与1:1相同、而与2:0不同)，不然数据不同步。
b)共享磁盘必须格式化为主分区。
c)防火墙(端口)，SElinux没有关闭导致，两边的配置/etc/init.d/o2cb configure必须要相同
2 系统配置(所有节点)
a)创建用户和组(用户和组的id在每个节点上都要相同)
groupadd -g 1001 dba
groupadd -g 1002 oinstall
useradd -u 1001 -g oinstall -G dba oracle
useradd nobody//匿名用户一般都存在
b)配置网络
1)配置ip
2)在/etc/hosts中配置主机名解析(vip,rip,priv ip。主机名不能出现在回环网卡中。)
注：虚拟ip不要在网卡中配置，不然报错：
the node(s) ,rip1,rip2,does not appear to be rachable via the private node name.
please check that all the nodes in the node list are reachable via both their public and private node names
而私有ip要在网卡里和hosts文件中配置。如果值在hosts里写名，而没有在网卡配置，则报错：
you have specified appears to be already assigned to another system on the network.please ensure that the virtual
3)配置ssh证书验证
注：所有节点都必须向其它节点执行一下ssh，然后输入yes。不然安装crs时出现如下错误:
The specified nodes are not clusterable
c)配置内核/etc/sysctl.conf,然后执行sysctl -p
kernel.sem=250 32000 100 128
kernel.shmmni=4096
kernel.shmall=2097152
kernel.shmmax=2147483648
net.ipv4.ip_local_port_range=1024 65000
net.core.rmem_default=1048576
net.core.rmem_max=1048576
net.core.wmem_default=262144
net.core.wmem_max=262144
d)设置shell对资源的限制
/etc/security/limits.conf
oracle soft nproc 2047
oracle hard nproc 16384
oracle soft nofile 1024
oracle hard nofile 65536
/etc/pam.d/login (以上对oracl的资源限制才会生效)
session required /lib/security/pam_limits.so
3 创建共享磁盘文件系统(在一个节点上执行就行)
a)找到相应的安装包ocfs2-tools,ocfs2-[Version],ocfs2console。安装软件
问题：Could not start cluster stack.this must be resolved before any ocfs2 filesystem can be mounted
原因：ocfs2-2.6.18-8.el5-1.2.9-1.el5.i686.rpm 版本不对
问题：o2cb_ctl: Unable to access cluster service while creating node Could not add node node1
解决：删除/etc/ocfs2/下的cluster.conf，重新配置
b)创建分区(注：创建为主分区)重启所有节点。
c)执行ocfs2console(Tesk->Format.....Cluster->Configure Nodes,Propagate Configuration)
配置o2fs(所有节点)
a)/etc/init.d/o2cb configure
b)启动服务/etc/init.d/o2cb start
c)挂载文件系统。
mount -t ocfs2 /dev/sda1 /orac/orahome
mount -t ocfs2 -o datavolume,nointr /dev/sda2 /orac/oradata
d)启动自动挂载，编辑/etc/fstab
/dev/sda1 /orac/oradata ocfs2 _netdev,datavolume,nointr 0 0
/dev/sda2 /orac/oraohome ocfs2 _netdev 0 0
_netdev：网络启动前不挂载
nointr：读写数据时不中断
e)查看mounted.ocfs2 -f
4 安装crs
安装前检测： 安装目录里/cluvfy/runcluvfy.sh stage -pre crsinst -n rac1,rac2 -verbose
安装目录的权限 root.oinstall(775)，以oarcle用户安装
can't connect to X11 window server using
解决：不要用root登陆，然后su - oracle。而应该直接用oracle登陆安装。
解决：对于vip,只需在/etc/hosts里写明即可，不需要网卡里配置。
specify a shared raw partition or cluster file system file
解决：不要在磁盘上提前建目录，因为它们是文件。
执行 /data/racdata/cluster_10.0.2/root.sh时：
PROT-1: Failed to initialize ocrconfig
解决：挂挂载磁盘时加上datavolume
fatal cluster error encountered(PRKC-1071):nodes rac02 did not respond to ping in 30 seconds
解决：重启
bin/java: error while loading shared libraries: libpthread.so.0: cannot open shared object file: No such file or directory
解决：注释srvctl 中的两行
LD_ASSUME_KERNEL=2.4.19
export LD_ASSUME_KERNEL
crs/bin/crsctl.bin: error while loading shared libraries: libpthread.so.0: cannot open shared object file: No such file or directory
解决：注释vipca中arch=`uname -m`以下的五行
重装ocr时，删除/etc/ora* ，/hoem/orale/oraI*
启动数据库时sql>startup 报错：
ORA-00304: requested INSTANCE_NUMBER is busy
sql>connect sys/123456@rac02_orcl
ORA-12154: TNS:could not resolve the connect identifier specified
解决：
1 sqlnet.ora中，改为NAMES.DIRECTORY_PATH= (TNSNAMES, HOSTNAME, ONAMES)
2 设置ORACLE_HOME,ORACLE_SID(SID号从network/admin/tnsnames.ora中查看)
启动数据库时sql>startup 报错：
ORA-29760: instance_number parameter not specified
解决：在哪个node上启动，就要设置相应的ORACLE_SID，比如ORACLE_SID=ora1
5 安装oracle
转载：http://hi.baidu.com/baoyu05/blog/item/fecc66222cd138ad4723e81b.html