Oracle11g RAC安装文档

一、安装准备

1. NTP

2. 如果只有2个节点，心跳线直连

3. IP地址规划 (/etc/hosts)，需要申请2个vip和1个scan ip

#public

10.133.27.20  tsimdb01

10.133.27.21  tsimdb02

#private

172.16.0.1    tsimdb01-priv

172.16.0.2    tsimdb02-priv

#vip

10.133.27.24  tsimdb01-vip

10.133.27.25  tsimdb02-vip

10.133.27.26  tsimdb-scan

或

#node1

10.133.27.20   tsimdb01    

172.16.0.1     tsimdb01-priv

10.133.27.24   tsimdb01-vip

#node2

10.133.27.21   tsimdb02

172.16.0.2     tsimdb02-priv

10.133.27.25   tsimdb02-vip

#scan-ip

110.133.27.26   tsimdb

4. 规划共享盘

   重启服务器，识别共享盘

  

5.修改设备别名：

配置文件/etc/multipath.conf ，内容如下（为统一识别，最好加前缀asm等）

defaults {

        user_friendly_names yes

}

multipaths {

         multipath {

                wwid   36000d31000c7bb000000000000000084

                alias  disk5g_1

                   }

         multipath {

                wwid   36000d31000c7bb000000000000000085

                alias  disk5g_2

                   }

}

重新加载多路径配置的命令

service multipathd reload

查看多路径设备，能识别磁盘的wwn号

multipath -l

生成的设备在/dev/mapper/disk5g_1 -> ../dm-8

6. 绑定裸设备

vi /etc/udev/rules.d/99-asmdevice.rules

KERNEL=="dm-*",ENV{DM_UUID}=="mpath-36000d31000c7bb0000000000000000cb",NAME="disk3g_1",OWNER="grid",GROUP="asmadmin",MODE="0660"

KERNEL=="dm-*",ENV{DM_UUID}=="mpath-36000d31000c7bb0000000000000000cc",NAME="disk3g_2",OWNER="grid",GROUP="asmadmin",MODE="0660"

KERNEL=="dm-*",ENV{DM_UUID}=="mpath-36000d31000c7bb0000000000000000cd",NAME="disk3g_3",OWNER="grid",GROUP="asmadmin",MODE="0660"

KERNEL=="dm-*",ENV{DM_UUID}=="mpath-36000d31000c7bb0000000000000000ce",NAME="disk200g",OWNER="grid",GROUP="asmadmin",MODE="0660"

KERNEL=="dm-*",ENV{DM_UUID}=="mpath-36000d31000c7bb0000000000000000cf",NAME="disk500g",OWNER="grid",GROUP="asmadmin",MODE="0660"

KERNEL=="dm-*",ENV{DM_UUID}=="mpath-36000d31000c7bb0000000000000000d0",NAME="disk291g",OWNER="grid",GROUP="asmadmin",MODE="0660"

 在两个节点都要配置，然后执行如下命令：

#/sbin/start_udev

在/dev下生成一个名字为disk*的设备文件即为裸设备。

7.关闭防火墙

service iptables stop

chkconfig iptables off

8.关闭Selinx

/etc/selinux/config

SELINUX=disabled

#setenforce permissive

9.在两个节点分别创建用户和组

--创建组：

groupadd -g 1000 oinstall

groupadd -g 1200 asmadmin

groupadd -g 1201 asmdba

groupadd -g 1202 asmoper

groupadd -g 1300 dba

groupadd -g 1301 oper

--创建用户：

useradd -u 1100 -g oinstall -G asmadmin,asmdba,asmoper grid

useradd -u 1101 -g oinstall -G dba,oper,asmdba oracle

--创建密码：

passwd grid

passwd oracle

10.在两个节点设置用户环境变量

--grid用户:

export PATH

export TMP=/tmp

export TMPDIR=$TMP

export ORACLE_SID=+ASM1

export ORACLE_BASE=/u01/app/grid

export ORACLE_HOME=/u01/app/11.2.0/grid

export NLS_DATE_FORMAT='yyyy/mm/dd hh24:mi:ss'

export TNS_ADMIN=$ORACLE_HOME/network/admin

export PATH=/usr/sbin:$PATH

export PATH=$ORACLE_HOME/bin:$PATH

export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib

export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib

export LANG=en_US

export NLS_LANG=AMERICAN_AMERICA.ZHS16GBK

umask 022

--oracle用户:

export PATH

export TMP=/tmp

export TMPDIR=$TMP

export ORACLE_SID=tsimdb3

export ORACLE_BASE=/u01/app/oracle

export ORACLE_HOME=/u01/app/oracle/product/11.2.0/db_1

export TNS_ADMIN=$ORACLE_HOME/network/admin

export PATH=/usr/sbin:$PATH

export PATH=$ORACLE_HOME/bin:$PATH

export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib

export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib

export LANG=en_US

export NLS_LANG=AMERICAN_AMERICA.ZHS16GBK

export NLS_DATE_FORMAT='yyyy/mm/dd hh24:mi:ss'

umask 022

11.创建所需目录

mkdir -p /u01/app/grid

mkdir -p /u01/app/11.2.0/grid

mkdir -p /u01/app/oracle/product/11.2.0/db_1

chown -R oracle:oinstall /u01

chown -R grid:oinstall /u01/app/grid

chown -R grid:oinstall /u01/app/11.2.0/grid

chmod -R 775 /u01

12.配置limits.conf增加如配置

vim /etc/security/limits.conf

oracle           soft   nofile           32800

oracle           hard   nofile           65536

oracle           soft   nproc            32768

oracle           hard   nproc            32768

oracle           soft   stack            32768

oracle           hard   stack            32768

grid             soft   nofile           32800

grid             hard   nofile           65536

grid             soft   nproc            32768

grid             hard   nproc            32768

grid             soft   stack            32768

grid             hard   stack            32768

13.修改内核参数

--注意将原来参数shmmall和shmmax注释掉

vim /etc/sysctl.conf

fs.aio-max-nr = 1048576

fs.file-max = 6815744

kernel.shmall = 1073741824

kernel.shmmax = 4398046511104

kernel.shmmni = 4096

kernel.msgmni=1024

kernel.sem=1250 256000 100 1024

net.ipv4.ip_local_port_range = 9000 65500

net.core.rmem_default = 262144

net.core.rmem_max = 4194304

net.core.wmem_default = 262144

net.core.wmem_max = 1048576

vm.max_map_count=2000000

#kernel.shmmax   物理内存大小，单位byte; kernel.shmall = kernel.shmmax/4096

--使sysctl生效

sysctl -p

14.安装相关软件包

yum install gcc compat-libstdc++-33 elfutils-libelf-devel glibc-devel glibc-headers gcc-c++ libaio-devel libstdc++-devel pdksh compat-libcap1-*

15.在两个节点绑定网卡

cd /etc/sysconfig/network-scripts

vi ifcfg-em4

修改完成后重启网卡

service network restart

16.ssh权限设置

vi /etc/hosts.allow

二、Grid软件安装

1.安装grid，以grid用户登录，并执行./runInstaller进入安装界面

su - grid

cd /opt/media/grid

2.进入界面选择跳过软件更新，点击Next

3.选择Grid Infrastructure，点击Next：

install and configure orcle grid infrastructure for a cluster

4.选择高级安装，点击Next

5.默认Englist，点击Next

6.去掉Configure GNS选项，点击Next

scan name: san-ip对应的主机名

scan port: 1521

7.点击Add选项，输入对应参数，参考/etc/hosts文件中配置

8.选中两个节点，点击SSH Connectivity,输入grid的密码，点击Setup等待配置完成，然后点击Next

9.确认网络接口，eth0为Public,eth1为Private

10.选择Oracle ASM,点击Next

11.输入Disk Group Name,点击Change Discovery Path，在弹出的对话框中输入磁盘的路径/dev/asm*，点击OK

Disk Group Name: SYSTEMDG

Redundancy: Normal

AU Size使用默认值 1 MB

3块5G的盘。

12.输入口令密码，点击Next（密码：password01）

13.选择不使用IPMI，点击Next

14.操作系统组默认选择，点击Next

15.确认Grid的安装路径，其中Grid软件的ORACLE_HOME不能是ORACLE_BASE的子目录

16.默认Inverntory,点击Next

17.该错误可以从Grid的安装文件的rpm目录下获取，Node1和Node2都安装即可，Device Checks for ASM可忽略

18.进入安装Grid安装前的概要信息界面，点击Install进行安装

19.根据红框中信息，现在Node1节点执行2个脚本，Node1节点全部执行完毕后，再在Node2上分别执行2个脚本，全部执行完毕后，点击OK，执行下一步

20.临近执行完毕时，报了一个INS-20802的这种错误，导致这个错误的原因是在/etc/hosts中配置了SCAN的地址，尝试ping这个地址信息，如果可以成功，则这个错误可以忽略。

21.最后单击Close，完成Grid软件在Node1和Node2的安装操作

三、安装Oracle软件

1.安装oracle，以oracle用户登录，并执行./runInstaller进入安装界面

2.直接点击Next

3.选择跳过软件更新，点击Next

4.选则只安装数据库软件，点击Next

5.点击SSH Connectivity,输入Oracle的密码，点击setup，有如下提示，说明成功

Oracle Real Application Clusters database installation

6.默认English，点击Next

7.选择Enterprise Edition

8.默认路径，点击Next

9.选择Oracle用户组，默认选择，点击Next

10.Swap size错误增大即可，SCAN错误前面说过，选择Ignore all，点击Next

11.Oracle安装概要信息，点击Next

12.分别在Node1和Node2执行脚本

13.最后点击Close安装完成

四、创建ASM磁盘组

1.以grid用户登录，输入asmca命令，弹出ASM配置界面，点击Create

2.输入Disk Group Name，点击OK，会提示创建成功

Allocation Unit Size(MB) 1

ASM Compatibility  11.2.0.0.0

3.创建成功后，会发现多出来一行记录，但是在state只显示MOUNTED(1of2)

4.点击Mount ALL,成功后state显示MOUNTED(2of2)，点击Exit退出

五、数据库打补丁

1.解压出文件OPatch，下载补丁安装包。

2.备份oracle用户HOME路径的原OPatch目录

3.替换oracle用户HOME路径的OPatch目录

4.修改权限。

5.备份grid用户HOME路径的原OPatch目录

6.替换grid用户HOME路径的OPatch目录

7.修改权限。

8.切换到oracle（或grid）用户执行命令生成ocm.rsp文件

su – oracle

$ORACLE_HOME/OPatch/ocm/bin/emocmrsp -no_banner -output /u01/ocm.rsp

9.切换到root用户，进入到oracle用户的HOME路径开始打补丁

su – root

cd $ORACLE_HOME/OPatch

./opatch auto /opt/media/patch/27967757 -oh /u01/app/oracle/product/11.2.0/db_1 -ocmrf /u01/ocm.rsp

10.查看补丁是否打成功（进入oracle用户的HOME路径）。

cd $ORACLE_HOME/OPatch

./opatch lsinventory

11.在另外一个节点执行相同的步骤打补丁。

六、安装数据库实例

1.使用Oracle用户登录，执行dbca命令，弹出如下界面，选择第一项，点击Next

Oracle Real Application Clusters (RAC) database

2.点击创建数据库选项，点击Next

3.根据工作中的实际情况选择对应的模板，这里以默认模板为例

4.选择rac1和rac2，输入orcl实例名，点击Next

5.根据实际情况选择是否配置EM，点击Next

Configure Enterprise Manager

Configure Database Control for local management

6.配置Oracle相关密码（密码sys），点击Next

7.选择存储ASM,默认选择之前创建的磁盘组，点击Next

8.根据实际情况选择是否启用闪回恢复区，如果启用，需要在asmca中配置闪回区或放入到DATADG中，这里不配置

根据分的磁盘组决定归档日志放在哪个磁盘组。

9.根据实际选择，这里不选择，点击Next

10.这里着重注意下配置正确的字符集，根据实际生产要求，点击Next

11.默认选择数据库存储信息，点击Next

12.点击Finish，开始创建数据库

13.最后完成数据库创建