Openfiler + Redhat 5.4 Oracle 11gR2 RAC 安装文档

Oracle 11gR2 RAC 的安装。 这个实验采用的架构：

虚拟机VMServer 2.0 + REDHAT 5.4 +Oracle 11gR2+openfiler存储 + DNS server (scan)，openfiler通过iscsi 连接到虚拟机上，作为共享设备。

 

参考Oracle 官方文档：

       在 Oracle Enterprise Linux 和 iSCSI 上构建您自己的 Oracle RAC 11g 集群

       http://www.oracle.com/technology/global/cn/pub/articles/hunter-rac11gr2-iscsi.html

 

 

一． 准备工作

 

1. 存储的分配：

 

这里对在openfiler上划分了3个target。 CRS, FRA和 Data。 然后在服务器上通过multipath进行绑定。虚拟机的安装和openfiler 的安装及配置， 具体参考Blog：

       openfiler 搭建虚拟存储 并 配置服务端

http://blog.csdn.net/tianlesoftware/archive/2010/10/29/5973222.aspx

 

       Multipath实现LUN设备名称的持久化

      http://blog.csdn.net/tianlesoftware/archive/2010/11/01/5979061.aspx

 

       Oracle 11gR2 RAC 新特性说明

       http://blog.csdn.net/tianlesoftware/archive/2010/11/02/5982972.aspx

 

 

配置完之后的信息如下：

 

[root@rac1 ~]# multipath -ll

crs (14f504e46494c4500315a6b5774512d4c5136482d6a424447) dm-0 OPNFILER,VIRTUAL-DISK

[size=2.0G][features=1 queue_if_no_path][hwhandler=0][rw]

/_ round-robin 0 [prio=2][active]

 /_ 9:0:0:0  sdb 8:16  [active][ready]

 /_ 10:0:0:0 sde 8:64  [active][ready]

fra (14f504e46494c450039396b35564d2d643574372d33414c4a) dm-1 OPNFILER,VIRTUAL-DISK

[size=3.0G][features=1 queue_if_no_path][hwhandler=0][rw]

/_ round-robin 0 [prio=2][active]

 /_ 7:0:0:0  sdc 8:32  [active][ready]

 /_ 8:0:0:0  sdd 8:48  [active][ready]

data (14f504e46494c45004d574c6870432d756654352d33347766) dm-2 OPNFILER,VIRTUAL-DISK

[size=9.6G][features=1 queue_if_no_path][hwhandler=0][rw]

/_ round-robin 0 [prio=2][active]

 /_ 11:0:0:0 sdf 8:80  [active][ready]

 /_ 12:0:0:0 sdg 8:96  [active][ready]

 

 

[root@rac1 mapper]# ls -lrt /dev/mapper/*

crw------- 1 root root  10, 62 Nov 12 04:42 /dev/mapper/control

brw-rw---- 1 root disk 253,  0 Nov 12 05:24 /dev/mapper/crs

brw-rw---- 1 root disk 253,  1 Nov 12 05:24 /dev/mapper/fra

brw-rw---- 1 root disk 253,  2 Nov 12 05:24 /dev/mapper/data

 

 

2. 安装所需要的安装包：

binutils-2.17.50.0.6

compat-libstdc++-33-3.2.3

elfutils-libelf-0.125

elfutils-libelf-devel-0.125

elfutils-libelf-devel-static-0.125

gcc-4.1.2

gcc-c++-4.1.2

glibc-2.5-24

glibc-common-2.5

glibc-devel-2.52

glibc-headers-2.5

kernel-headers-2.6.18

ksh-20060214

libaio-0.3.106

libaio-devel-0.3.106

libgcc-4.1.2

libgomp-4.1.2

libstdc++-4.1.2

libstdc++-devel-4.1.2

make-3.81

sysstat-7.0.2

unixODBC-2.2.11

unixODBC-devel-2.2.11

 

用rpm -q  命令检查一下，如果没有，到系统安装盘里查找并安装一下

 

二. 设备进行格式化：

 

[root@rac1 mapper]# fdisk /dev/mapper/crs

Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel

Building a new DOS disklabel. Changes will remain in memory only,

until you decide to write them. After that, of course, the previous

content won't be recoverable.

 

Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)

 

Command (m for help): n

Command action

   e   extended

   p   primary partition (1-4)

p

Partition number (1-4): 1

First cylinder (1-257, default 1):  --直接敲回车，用默认值

Using default value 1

Last cylinder or +size or +sizeM or +sizeK (1-257, default 257):  --直接敲回车，用默认值

Using default value 257

 

Command (m for help): w

The partition table has been altered!

 

Calling ioctl() to re-read partition table.

 

WARNING: Re-reading the partition table failed with error 22: Invalid argument.

The kernel still uses the old table.

The new table will be used at the next reboot.

Syncing disks.

[root@rac1 mapper]# fdisk /dev/mapper/fra

Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel

Building a new DOS disklabel. Changes will remain in memory only,

until you decide to write them. After that, of course, the previous

content won't be recoverable.

 

Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)

 

Command (m for help): n

Command action

   e   extended

   p   primary partition (1-4)

p

Partition number (1-4): 1

First cylinder (1-387, default 1):

Using default value 1

Last cylinder or +size or +sizeM or +sizeK (1-387, default 387):

Using default value 387

 

Command (m for help): w

The partition table has been altered!

 

Calling ioctl() to re-read partition table.

 

WARNING: Re-reading the partition table failed with error 22: Invalid argument.

The kernel still uses the old table.

The new table will be used at the next reboot.

Syncing disks.

[root@rac1 mapper]# fdisk /dev/mapper/data

Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel

Building a new DOS disklabel. Changes will remain in memory only,

until you decide to write them. After that, of course, the previous

content won't be recoverable.

 

 

The number of cylinders for this disk is set to 1248.

There is nothing wrong with that, but this is larger than 1024,

and could in certain setups cause problems with:

1) software that runs at boot time (e.g., old versions of LILO)

2) booting and partitioning software from other OSs

   (e.g., DOS FDISK, OS/2 FDISK)

Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)

 

Command (m for help): n

Command action

   e   extended

   p   primary partition (1-4)

p

Partition number (1-4): 1

First cylinder (1-1248, default 1):

Using default value 1

Last cylinder or +size or +sizeM or +sizeK (1-1248, default 1248):

Using default value 1248

 

Command (m for help): w

The partition table has been altered!

 

Calling ioctl() to re-read partition table.

 

WARNING: Re-reading the partition table failed with error 22: Invalid argument.

The kernel still uses the old table.

The new table will be used at the next reboot.

Syncing disks.

[root@rac1 mapper]# multipath -F  -- 刷新一下multipath ，不然信息不能更新

[root@rac1 mapper]# ls -lrt /dev/mapper/*

crw------- 1 root root  10, 62 Nov 12 04:42 /dev/mapper/control

brw-rw---- 1 root disk 253,  0 Nov 12 05:33 /dev/mapper/crs

brw-rw---- 1 root disk 253,  1 Nov 12 05:33 /dev/mapper/fra

brw-rw---- 1 root disk 253,  2 Nov 12 05:33 /dev/mapper/data

brw-rw---- 1 root disk 253,  3 Nov 12 05:33 /dev/mapper/crsp1

brw-rw---- 1 root disk 253,  4 Nov 12 05:33 /dev/mapper/datap1

brw-rw---- 1 root disk 253,  5 Nov 12 05:33 /dev/mapper/frap1

 

这里多了一下/dev/mapper/frap1，datap1 和crsp1 的分区，这些就是已经格式化之后的磁盘。 我们可以直接使用。 下面我来看安装ASM，并将上面创建的几个分区创建成ASM 磁盘组。

 

这里要注意一个问题，权限问题。 现在看到的用户是root。 我们需要在Oracle 用户。修改rc.local. 让系统每次在启动时修改文件属性：

 

[root@rac1 mapper]# cat /etc/rc.d/rc.local

#!/bin/sh

#

# This script will be executed *after* all the other init scripts.

# You can put your own initialization stuff in here if you don't

# want to do the full Sys V style init stuff.

 

touch /var/lock/subsys/local

 

chown oracle:oinstall /dev/mapper/fra*

chown oracle:oinstall /dev/mapper/data*

chown oracle:oinstall /dev/mapper/crs*

 

执行下脚本：

[root@rac1 mapper]# sh /etc/rc.d/rc.local

[root@rac1 mapper]# ll

total 0

crw------- 1 root   root      10, 62 Nov 13 08:47 control

brw-rw---- 1 oracle oinstall 253,  0 Nov 13 08:50 crs

brw-rw---- 1 oracle oinstall 253,  3 Nov 13 08:50 crsp1

brw-rw---- 1 oracle oinstall 253,  2 Nov 13 08:50 data

brw-rw---- 1 oracle oinstall 253,  4 Nov 13 08:50 datap1

brw-rw---- 1 oracle oinstall 253,  1 Nov 13 08:50 fra

brw-rw---- 1 oracle oinstall 253,  5 Nov 13 08:50 frap1

 

 

三. 创建用户和目录

 

1. 在所有节点上创建用户、组、目录结构和权限的建立

 

描述
 OS 组名
 分配给该组的 OS 用户
 Oracle 权限
 Oracle 组名
 
Oracle 清单和软件所有者
 oinstall
 grid、oracle
 
 
 
Oracle 自动存储管理组
 asmadmin
 grid
 SYSASM
 OSASM
 
ASM 数据库管理员组
 asmdba
 grid、oracle
 ASM 的 SYSDBA
 OSDBA for ASM
 
ASM 操作员组
 asmoper
 grid
 ASM 的 SYSOPER
 OSOPER for ASM
 
数据库管理员
 dba
 oracle
 SYSDBA
 OSDBA
 
数据库操作员
 oper
 oracle
 SYSOPER
 OSOPER
 

 

GRID 用户：

#groupadd -g 1000 oinstall

#groupadd -g 1200 asmadmin

#groupadd -g 1201 asmdba

#groupadd -g 1202 asmoper

#useradd -m -u 1100 -g oinstall -G asmadmin,asmdba,asmoper -d /home/grid -s /bin/bash -c "Grid Infrastructure Owner" grid

# id grid

 

Oracle 用户：

# groupadd -g 1300 dba

# groupadd -g 1301 oper

# useradd -m -u 1101 -g oinstall -G dba,oper,asmdba -d /home/oracle -s /bin/bash -c "Oracle Software Owner" oracle

# id oracle

 

修改密码：

passwd oracle

passwd grid

 

 

在所有节点上验证用户 nobody 存在

       安装软件之前，执行以下过程，以验证在两个 Oracle RAC 节点上存在用户 nobody，要确定该用户是否存在，输入以下命令：

# id nobody

uid=99(nobody) gid=99(nobody) groups=99(nobody)

 

如果该命令显示了 nobody 用户的信息，则无需创建该用户。如果用户 nobody 不存在，则输入以下命令进行创建：

# /usr/sbin/useradd nobody

 

 

 

2. 在所有节点上创建安装目录

 

mkdir -p /u01/app/grid

mkdir -p /u01/app/11.2.0/grid

chown -R grid:oinstall /u01

 

mkdir -p /u01/app/oracle

chown -R oracle:oinstall /u01/app/oracle

chmod -R 775 /u01

 

chown -R oracle:oinstall /u01

chmod -R 775 /u01/

 

3. 修改grid 和 Oracle 用户的登陆脚本：bash_profile 文件

 

 

Grid 用户：

 

以 grid 用户帐户分别登录到两个 Oracle RAC 节点并创建以下登录脚本 (.bash_profile)。在为每个 Oracle RAC 节点设置 Oracle 环境变量时，确保为每个 RAC 节点指定唯一的 Oracle SID。如：

       racnode1：ORACLE_SID=+ASM1

       racnode2：ORACLE_SID=+ASM2

 

# su - grid

#vi ~/.bash_profile

# ---------------------------------------------------

# .bash_profile

# ---------------------------------------------------

# OS User:      grid

# Application:  Oracle Grid Infrastructure

# Version:      Oracle 11g release 2

# ---------------------------------------------------

 

# Get the aliases and functions

if [ -f ~/.bashrc ]; then

      . ~/.bashrc

fi

 

ORACLE_SID=+ASM1; export ORACLE_SID

JAVA_HOME=/usr/local/java; export JAVA_HOME

ORACLE_BASE=/u01/app/grid; export ORACLE_BASE

ORACLE_HOME=/u01/app/11.2.0/grid; export ORACLE_HOME

ORACLE_PATH=/u01/app/oracle/common/oracle/sql; export ORACLE_PATH

# SQLPATH=/u01/app/common/oracle/sql; export SQLPATH

ORACLE_TERM=xterm; export ORACLE_TERM

NLS_DATE_FORMAT="DD-MON-YYYY HH24:MI:SS"; export NLS_DATE_FORMAT

TNS_ADMIN=$ORACLE_HOME/network/admin; export TNS_ADMIN

ORA_NLS11=$ORACLE_HOME/nls/data; export ORA_NLS11

PATH=.:${JAVA_HOME}/bin:${PATH}:$HOME/bin:$ORACLE_HOME/bin

PATH=${PATH}:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin

PATH=${PATH}:/u01/app/common/oracle/bin

export PATH

LD_LIBRARY_PATH=$ORACLE_HOME/lib

LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$ORACLE_HOME/oracm/lib

LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/lib:/usr/lib:/usr/local/lib

export LD_LIBRARY_PATH

CLASSPATH=$ORACLE_HOME/JRE

CLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlib

CLASSPATH=${CLASSPATH}:$ORACLE_HOME/rdbms/jlib

CLASSPATH=${CLASSPATH}:$ORACLE_HOME/network/jlib

export CLASSPATH

THREADS_FLAG=native; export THREADS_FLAG

export TEMP=/tmp

export TMPDIR=/tmp

# ---------------------------------------------------

# Set the default file mode creation mask

# (umask) to 022 to ensure that the user performing

# the Oracle software installation creates files

# with 644 permissions.

# ---------------------------------------------------

umask 022

 

 

Oracle 用户：

 

以 oracle 用户帐户分别登录到两个 Oracle RAC 节点并创建以下登录脚本 (.bash_profile)，在为每个 Oracle RAC 节点设置 Oracle 环境变量时，确保为每个 RAC 节点指定唯一的 Oracle SID。如：

       racnode1：ORACLE_SID=racdb1

       racnode2：ORACLE_SID=racdb2

 

# su - oracle

#vi ~/.bash_profile

 

# ---------------------------------------------------

# .bash_profile

# ---------------------------------------------------

# OS User:      oracle

# Application:  Oracle Database Software Owner

# Version:      Oracle 11g release 2

# ---------------------------------------------------

 

# Get the aliases and functions

if [ -f ~/.bashrc ]; then

      . ~/.bashrc

fi

 

ORACLE_SID=racdb1; export ORACLE_SID

ORACLE_UNQNAME=racdb; export ORACLE_UNQNAME

JAVA_HOME=/usr/local/java; export JAVA_HOME

ORACLE_BASE=/u01/app/oracle; export ORACLE_BASE

ORACLE_HOME=$ORACLE_BASE/product/11.2.0/dbhome_1; export ORACLE_HOME

ORACLE_PATH=/u01/app/common/oracle/sql; export ORACLE_PATH

ORACLE_TERM=xterm; export ORACLE_TERM

NLS_DATE_FORMAT="DD-MON-YYYY HH24:MI:SS"; export NLS_DATE_FORMAT

TNS_ADMIN=$ORACLE_HOME/network/admin; export TNS_ADMIN

ORA_NLS11=$ORACLE_HOME/nls/data; export ORA_NLS11

PATH=.:${JAVA_HOME}/bin:${PATH}:$HOME/bin:$ORACLE_HOME/bin

PATH=${PATH}:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin

PATH=${PATH}:/u01/app/common/oracle/bin

export PATH

LD_LIBRARY_PATH=$ORACLE_HOME/lib

LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$ORACLE_HOME/oracm/lib

LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/lib:/usr/lib:/usr/local/lib

export LD_LIBRARY_PATH

CLASSPATH=$ORACLE_HOME/JRE

CLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlib

CLASSPATH=${CLASSPATH}:$ORACLE_HOME/rdbms/jlib

CLASSPATH=${CLASSPATH}:$ORACLE_HOME/network/jlib

export CLASSPATH

THREADS_FLAG=native; export THREADS_FLAG

export TEMP=/tmp

export TMPDIR=/tmp

# ---------------------------------------------------

# UMASK

# ---------------------------------------------------

# Set the default file mode creation mask

# (umask) to 022 to ensure that the user performing

# the Oracle software installation creates files

# with 644 permissions.

# ---------------------------------------------------

umask 022

 

 

4. 为 Oracle 软件安装用户设置资源限制

 

要改善 Linux 系统上的软件性能，必须对 Oracle 软件所有者用户（grid、oracle）增加以下资源限制：

Shell 限制
 limits.conf 中的条目
 硬限制
 
打开文件描述符的最大数
 nofile
 65536
 
可用于单个用户的最大进程数
 nproc
 16384
 
进程堆栈段的最大大小
 stack
 10240
 

 

以 root 用户身份，在每个 Oracle RAC 节点上，在 /etc/security/limits.conf 文件中添加以下几行代码：

[root@rac1 ~]# cat >> /etc/security/limits.conf <

grid soft nproc 2047

grid hard nproc 16384

grid soft nofile 1024

grid hard nofile 65536

oracle soft nproc 2047

oracle hard nproc 16384

oracle soft nofile 1024

oracle hard nofile 65536

EOF

-- 说明，绿色部分一起执行

 

在每个 Oracle RAC 节点上，在 /etc/pam.d/login 文件中添加或编辑下面一行内容：

[root@rac1 ~]# cat >> /etc/pam.d/login <

session    required     pam_limits.so

EOF

-- 说明，绿色部分一起执行

 

 

对默认的 shell 启动文件进行以下更改，以便更改所有 Oracle 安装所有者的 ulimit 设置：

 

（1）对于 Bourne、Bash 或 Korn shell，通过运行以下命令将以下行添加到 /etc/profile 文件：

[root@racnode1 ~]# cat >> /etc/profile <

if [ /$USER = "oracle" ] || [ /$USER = "grid" ]; then

    if [ /$SHELL = "/bin/ksh" ]; then

        ulimit -p 16384

        ulimit -n 65536

    else

        ulimit -u 16384 -n 65536

    fi

    umask 022

fi

EOF

-- 说明，绿色部分一起执行

 

对于 C shell（csh 或 tcsh），通过运行以下命令将以下行添加到 /etc/csh.login 文件：

[root@racnode1 ~]# cat >> /etc/csh.login <

if ( /$USER == "oracle" || /$USER == "grid" ) then

    limit maxproc 16384

    limit descriptors 65536

endif

EOF

-- 说明，绿色部分一起执行

 

 

四. 安装配置 ASM

1. 安装ASM包

先安装ASM 包，这个几个包可以从Oracle 官网下载：

http://www.oracle.com/technology/tech/linux/asmlib/index.html

 

[root@rac1 mapper]# uname -rm

2.6.18-164.el5xen i686

[root@rac2 mnt]# ls -lrt

total 223

-rwxrwSrwx 1 root root 127565 Aug  8 23:38 oracleasm-2.6.18-164.el5xen-2.0.5-1.el5.i686.rpm

-rwxrwSrwx 1 root root  85382 Aug  8 23:38 oracleasm-support-2.1.3-1.el5.i386.rpm

-rwxrwSrwx 1 root root  13929 Aug  8 23:39 oracleasmlib-2.0.4-1.el5.i386.rpm

[root@rac2 mnt]# rpm -Uvh *.rpm

warning: oracleasm-2.6.18-164.el5xen-2.0.5-1.el5.i686.rpm: Header V3 DSA signature: NOKEY, key ID 1e5e0159

Preparing...                ########################################### [100%]

   1:oracleasm-support      ########################################### [ 33%]

   2:oracleasm-2.6.18-164.el########################################### [ 67%]

   3:oracleasmlib           ########################################### [100%]

 

 

2. 配置ASM

 

oracleasm 命令的默认路径为 /usr/sbin。以前版本中使用的 /etc/init.d 路径并未被弃用，但该路径下的 oracleasm 二进制文件现在一般用于内部命令。如果输入 oracleasm configure 命令时不带 -i 标志，则显示当前配置。

 

[root@rac1 mnt]# oracleasm configure

ORACLEASM_ENABLED=false

ORACLEASM_UID=

ORACLEASM_GID=

ORACLEASM_SCANBOOT=true

ORACLEASM_SCANORDER=""

ORACLEASM_SCANEXCLUDE=""

 

[root@rac2 mnt]# oracleasm configure -i   -- 在所有节点都要执行。

Configuring the Oracle ASM library driver.

 

This will configure the on-boot properties of the Oracle ASM library

driver.  The following questions will determine whether the driver is

loaded on boot and what permissions it will have.  The current values

will be shown in brackets ('[]').  Hitting without typing an

answer will keep that current value.  Ctrl-C will abort.

 

Default user to own the driver interface []: grid

Default group to own the driver interface []: asmadmin

Start Oracle ASM library driver on boot (y/n) [n]: y

Scan for Oracle ASM disks on boot (y/n) [y]: y

Writing Oracle ASM library driver configuration: done

You have new mail in /var/spool/mail/root

 

该脚本完成以下任务：

       创建 /etc/sysconfig/oracleasm 配置文件

       创建 /dev/oracleasm 挂载点

       挂载 ASMLib 驱动程序文件系统

 

 

输入以下命令以加载 oracleasm 内核模块： 

[root@rac1 mnt]# oracleasm init  -- 在所有节点都要执行。

Creating /dev/oracleasm mount point: /dev/oracleasm

Loading module "oracleasm": oracleasm

Mounting ASMlib driver filesystem: /dev/oracleasm

 

如果这里没有配置，在安裝Clusterware后执行root.sh脚本时可能会触发错误，具体参考Blog：

       oracle 11gR2 RAC root.sh 错误 ORA-15072 ORA-15018

       http://blog.csdn.net/tianlesoftware/archive/2010/11/11/6001696.aspx

 

 

3. 创建ASM磁盘

 

创建过程在一个节点执行即可。 另一个节点扫描一下就可以识别到了。

 

在node1：

oracleasm createdisk CRS /dev/mapper/crsp1

oracleasm createdisk DATA /dev/mapper/datap1

oracleasm createdisk FRA /dev/mapper/frap1

 

 

node2：

 

[root@rac2 mnt]# oracleasm scandisks

Reloading disk partitions: done

Cleaning any stale ASM disks...

Scanning system for ASM disks...

Instantiating disk "CRS"

Instantiating disk "FRA"

Instantiating disk "DATA"

[root@rac2 mnt]# oracleasm listdisks

CRS

DATA

FRA

 

如果创建错误，可以用deletedisk参数，如：oracleasm deletedisk DATA

 

[root@rac2 mnt]# oracleasm querydisk DATA

Disk "DATA" is a valid ASM disk

 

到此，ASM的安装配置结束。

 

 

五. 配置时间同步

 

       在集群中的两个 Oracle RAC 节点上执行以下集群时间同步服务配置。 Oracle Clusterware 11g 第 2 版及更高版本要求在部署了 Oracle RAC 的集群的所有节点上实现时间同步。

       Oracle 提供了两种方法来实现时间同步：

       一种方法是配置了网络时间协议 (NTP) 的操作系统，

       另一种方法是新的 Oracle 集群时间同步服务 (CTSS)。Oracle 集群时间同步服务 (ctssd) 旨在为那些 Oracle RAC 数据库无法访问 NTP 服务的组织提供服务。

 

1. 配置集群时间同步服务 — (CTSS)

       使用集群时间同步服务在集群中提供同步服务，需要卸载网络时间协议 (NTP) 及其配置。

要停用 NTP 服务，必须停止当前的 ntpd 服务，从初始化序列中禁用该服务，并删除 ntp.conf 文件。要在 Oracle Enterprise Linux 上完成这些步骤，以 root 用户身份在两个 Oracle RAC 节点上运行以下命令：

[root@racnode1 ~]# /sbin/service ntpd stop

[root@racnode1 ~]# chkconfig ntpd off

[root@racnode1 ~]# mv /etc/ntp.conf /etc/ntp.conf.original

 

还要删除以下文件：

[root@racnode1 ~]# rm /var/run/ntpd.pid

此文件保存了 NTP 后台程序的 pid。

 

当安装程序发现 NTP 协议处于非活动状态时，安装集群时间同步服务将以活动模式自动进行安装并通过所有节点的时间。如果发现配置了 NTP，则以观察者模式启动集群时间同步服务，Oracle Clusterware 不会在集群中进行活动的时间同步。

 

在安装后，要确认 ctssd 处于活动状态，请作为网格安装所有者 (grid) 输入以下命令：

[grid@racnode1 ~]$ crsctl check ctss

CRS-4701: The Cluster Time Synchronization Service is in Active mode.

CRS-4702: Offset (in msec): 0

 

2. 配置网络时间协议 —（仅当不按如上所述使用 CTSS 时）

       如果正在使用 NTP，并且愿意继续使用它而不是集群时间同步服务，那么您需要修改 NTP 初始化文件，在其中设置 -x 标志，这样可避免向后调整时间。完成此任务后，重启网络时间协议后台程序。

 

为了在 Oracle Enterprise Linux、Red Hat Linux 和 Asianux 系统上完成此任务，编辑 /etc/sysconfig/ntpd 文件，添加 -x 标志，如下例所示：

 

[root@rac1 mapper]# cat /etc/sysconfig/ntpd

# Drop root to id 'ntp:ntp' by default.

OPTIONS="-x -u ntp:ntp -p /var/run/ntpd.pid"

 

# Set to 'yes' to sync hw clock after successful ntpdate

SYNC_HWCLOCK=no

 

# Additional options for ntpdate

NTPDATE_OPTIONS=""

 

然后，重启 NTP 服务。

# /sbin/service ntp restart

 

 

 

六. 修改内核参数和Hosts 文件

6.1 内核参数：

     RHEL/OEL 5 上的 Oracle Database 11g 第 2 版需要如下所示的内核参数设置。给出的值都是最小值，因此如果您的系统使用更大的值，则不要更改。

 

 

#vi /etc/sysctl.conf

 

kernel.shmmax = 4294967295

kernel.shmall = 2097152

kernel.shmmni = 4096

kernel.sem = 250 32000 100 128

fs.file-max = 6815744

net.ipv4.ip_local_port_range = 9000 65500

net.core.rmem_default=262144

net.core.rmem_max=4194304

net.core.wmem_default=262144

net.core.wmem_max=1048576

fs.aio-max-nr=1048576

 

RHEL/OEL 5 已经配置了为以下内核参数定义的默认值：

       kernel.shmall

       kernel.shmmax

如果这些默认值等于或大于必需值，则使用这些默认值。

 

 

使修改的参数生效：

[root@rac1 ~]# sysctl -p

net.ipv4.ip_forward = 0

net.ipv4.conf.default.rp_filter = 1

net.ipv4.conf.default.accept_source_route = 0

kernel.sysrq = 0

kernel.core_uses_pid = 1

net.ipv4.tcp_syncookies = 1

kernel.msgmnb = 65536

kernel.msgmax = 65536

kernel.shmmax = 4294967295

kernel.shmall = 268435456

kernel.shmmni = 4096

kernel.sem = 250 32000 100 128

fs.file-max = 6815744

net.ipv4.ip_local_port_range = 9000 65500

net.core.rmem_default = 262144

net.core.rmem_max = 4194304

net.core.wmem_default = 262144

net.core.wmem_max = 1048576

fs.aio-max-nr = 1048576

 

6.2 修改hosts文件

 

[root@rac2 ~]# cat /etc/hosts

# Do not remove the following line, or various programs

# that require network functionality will fail.

127.0.0.1        localhost

 

# Public Network - (eth0)

192.168.6.223    rac1

192.168.6.226    rac2

 

# Private Interconnect - (eth1)

192.168.6.224    rac1-priv

192.168.6.227    rac2-priv

 

# Public Virtual IP (VIP) addresses - (eth0:1)

192.168.6.225    rac1-vip

192.168.6.228    rac2-vip

6.3 配置SCAN IP

 

这里我们配置2个SCAN IP。

192.168.6.233    rac-scan.tianlesoftware.com

192.168.6.232    rac-scan.tianlesoftware.com

 

 

关于Linux DNS Server 的配置参考：

Linux DNS Server 配置 -- for Oracle 11gR2 RAC SCAN IP

http://blog.csdn.net/tianlesoftware/archive/2010/11/13/6006247.aspx

 

配置完后，我们修改每个节点的dns：

[root@rac1 named]# vim /etc/resolv.conf

nameserver 192.168.6.223

 

 

七. 安装Clusterware

 

用mount命令将安装文件挂载到linux系统上：

mount -o username=administrator,password=888  //192.168.6.80/Software /mnt

 

用NoMachine 工具连接上节点1.  关于Nomachine工具的使用，参考blog：      

       远程桌面工具 -- NoMachine

       http://blog.csdn.net/tianlesoftware/archive/2010/11/11/6003610.aspx

 

11g中Grid用户管理cluster 和 ocr。 所以这两个也是用grid用户来安装的。 运行./runInstaller命令，弹出安装界面。

 

 

开始安装：

1. Install and Configure Grid infrastructure a Cluster

2. Advanced Installation

3. 配置SCAN。 我们选择在DNS中定义域名的方式来解决，不配置GNS。

       SCAN Name: rac-scan.tianlesoftware.com

       SCAN Port : 1521

4. 添加Hostname 和 Virtual IP Name

5. 设置SSH 连接。 在10g里我们需要手工的去配置。 在11g中集成到安装中。 点击ssh connectivety. 然后输入密码，在设置一下，最后测试成功即可。设置的过程要等一会。

6. 选择网卡类型：eth0： public； eth1： private

7.  选择ASM 来存放OCR

8.  创建一个ASM 磁盘组来存放OCR。

9. 设置ASM 实例密码。 这个密码设置后会在$ORACLE_HOME/dbs/ 下生成一个orcl_+ASM的口令文件，如果忘记密码，可以用orapwd命令来修改。

10. 下一步，在安装之前会有个检测，如果有条件失败，就修改它，在检测。完全通过之后，进入安装。

       这里物理内存提示至少需要1.5G。 我的虚拟机给了1G。 报错，忽略，继续安装。

       还有要注意的， 对于交换区， 在安装操作系统的时候，最好设置在3G 以上。 不然也会有警告。

 

11. 安装技术提示执行2个脚本。 如果在第二个节点出现错误，用命令：

              [root@rac2 ~]# /u01/app/11.2.0/grid/crs/install/roothas.pl -delete -force -verbose

       删除相关信息，在执行，具体参考我的Blog：

              oracle 11gR2 RAC root.sh 错误 ORA-15072 ORA-15018

              http://blog.csdn.net/tianlesoftware/archive/2010/11/11/6001696.aspx

12. 执行完，点ok。 结束Clusterware的安装

 

 

八. 创建ASM 磁盘组

       在安装Clusterware 的时候，会创建ASM 实例，但是它只创建了一个CRS 组来安装OCR 和Voting Disk。 在我们继续安装Oracle 数据库之前，我们需要创建一个DATA 和 FRA 的ASM 磁盘组来存放这些文件。 创建过程很简单。

       运行asmca（ASM Configuration Assistant）命令就可以弹出创建窗口。

      

       在窗口中创建完DATA 和 FRA 组后，退出窗口即可。

 

九. 安装数据库软件

       1. 用Oracle 用户运行安装软件

      2. 选择只安装软件

       3. 选择集群安装，并选中所有节点。

      4. 验证SSH

       5. 选择语言。

       6. 选择数据库版本： 企业版

       7. 选择数据库安装的位置

       8. 选择用户组。

       9. 开始安装， 安装结束之后提示运行一个脚本。

       10. 脚本运行完， 结束安装。

 

 

 

十. 创建实例

       1. 用Oracle用户运行dbca命令

       2. 选择Oracle 集群

       3. 选择数据库类型： custom database

       4. 选择配置类型：admin-Managed， 实例名，最后选中所有节点， 下一步

       5. 设置密码

       6. 选择存储类型，Database Area 选我们刚才在ASM 实例中创建的DATA组。

       7. 指定ASM 实例的 ASMSNMP 口令，就是我们在安装Clusterware时指定的ASM密码。

       8. 创建FRA，指定位置，ASM实例中的FRA组，指定FRA 大小。

       9. 设置内存和字符集等参数。

       10. 开始创建实例。 创建结束后退出。 安装结束。

 

 

到此安装已经结束。

 

关于11gR2 下RAC进程的说明，参考我的Blog：

       Oracle 11gR2 RAC 进程说明

       http://blog.csdn.net/tianlesoftware/archive/2010/11/15/6009962.aspx

 

 

在Linux 下，Oracle 11gR2 多了一个MEMORY_TARGET 参数。 该参数用来管理SGA和PGA。 但是当设置超过一定值的时候，Oracle 实例就不能启动。 我之前设置的是12G。 就报错了。 解决方法如下：

       Oracle 11gR2 RAC ORA-00845 MEMORY_TARGET not supported on this system 解决方法

       http://blog.csdn.net/tianlesoftware/archive/2010/11/17/6013777.aspx

 

 

在客户端连接实例的使用，监听配置中使用SCAN IP 就可以了。 因为这个IP是固定的。 所以维护起来要简单一点。

 

本文来自CSDN博客，转载请标明出处：http://blog.csdn.net/tianlesoftware/archive/2010/11/25/6034738.aspx