1预安装检查与规划
本文中有部分截图没有正常显示，请转至下载中心：http://down.51cto.com/data/1061781
1.1硬件环境
两台IBM P740/64GB小机，一台IBM磁盘阵列（15T）。
1.2下载软件
本次安装的集群与数据库版本为11.2.0.4
数据库包：
p13390677_112040_AIX64-5L_1of7.zip、
p13390677_112040_AIX64-5L_2of7.zip
集群安装包
p13390677_112040_AIX64-5L_3of7.zip
安装包存放位置：/opt/soft
每个安装包的大表都在2G左右，aix 默认情况下无法上传大文件，因此在上传这个大文件之前，需要先修改aix参数限制，否则将无法正常上传文件。
如下：
修改 /etc/security/limits文件
default:
fsize = -1 -----将此项值设置为-1，即没有限制。
core = 2097151
cpu= -1
data = 262144
rss= 65536
stack = 65536
nofiles = 2000
1.3系统硬件环境检查
Oracle11gR2RAC最低安装要求：
内存：
安装grid infrastructure最少需要1.5GB的内存，
安装grid infrastructure和RAC最少需要2.5GB的内存
swap：最少需要1.5GB
temp：最少1GB
安装目录：grid infrastructure+ASM+Clusterware最少需要12GB，
验证方法：
1、确认内存大小
/usr/sbin/lsattr-E -l sys0 -a realmem
2、确认SWAP空间，最少2G。
/usr/sbin/lsps -a
3、确认/tmp大于1.5GB和/opt目录空间不小于15GB
4、确认系统结构
/usr/bin/getconfHARDWARE_BITMODE
5、确认系统CPU个数和主频：
lsdev-C |grep proc
1.4网络规划
1.4.1 IP地址要求
服务器 |
public-ip |
private-vip |
vip |
scanip |
p740a |
172.29.113.53 |
192.168.10.1 |
172.29.113.41 |
172.29.113.6 |
P740b |
172.29.113.54 |
192.168.10.2 |
172.29.113.61 |
1.4.2 NTP服务器
在安装过程中，将会把节点一（p740a）作为时间同步服务器，用做集群节点间的时间同步服务。
1.5存储规划
1.5.1grid、ASM安装目录
grid和ASM安装目录为：/opt/11.2.0
1.5.2oracle安装目录
Clusterware的安装目录为：/opt/oracle/app/oracle
1.5.3 OCR、VOTE存储规划
本方案规划使用6个3GB的asm磁盘存放OCR、VOTE文件。
存放ocr和vote 的磁盘组将选择高冗余度，最低为需求三快盘，但是由于是存在ocr和vote因此在磁盘需求上，相对于普通磁盘组有些不同，如下：
磁盘的冗余度不管是外部冗余还是高冗余，均可正常存放ocr文件，每个磁盘组存放一份ocr，为了实现ocr 的多元化存放，可以指定多个磁盘组存放ocr，详细的存储状况，可以使用ocrcheck命令查看。
votedisk的存放yuasm磁盘冗余度密切相关，如果选择外部冗余则只需要存放一份votedisk，如果是普通冗余则需要存放3份votedisk，如果是高度冗余则需要存放5份votedisk，我们选择的是高度冗余，因此至少需要添加5块盘，我们添加了6块盘，多余的一块盘作为备份，查看votedisk的详细存储状况，可以使用以下命令：crsctl query css votedisk;
查询结果如下：
1.5.4 数据库存储规划
本方案规划使用三个ASM磁盘用来存放数据库数据文件两个asm 磁盘组用来存放归档文件和备份文件。
磁盘组名称 |
冗余度 |
用途 |
底层raid |
大小（TB） |
备注 |
+ORADATA1 |
external |
存放数据文件与ocr |
1 |
||
+ORADATA2 |
external |
存放数据文件 |
1 |
||
+ORADATA3 |
external |
存放数据文件 |
1 |
||
+ORABAK1 |
external |
存放archivelog |
5 |
||
+ORABAK2 |
external |
存放rman备份 |
5 |
||
OCRVOTE |
high |
存放 |
1 |
共添加6块磁盘 |
2安装准备
2.1配置IP地址
在服务器中分别配置public-ip与private-ip。
详细ip配置信息，请参考IP规划部分。
2.2修改hosts文件
修改每节点上的/etc/hosts文件，增加以下信息：
172.29.113.53 p740a
172.29.113.54 p740b
172.29.113.41 p740a-vip
172.29.113.61 p740b-vip
192.168.10.1 p740a-priv
192.168.10.2 p740b-priv
172.29.113.6 cluster-scan
2.3安装操作系统软件包
2.3.1 安装FILESETS
AIX6.1需要安装如下软件包：
bos.adt.base
bos.adt.lib
bos.adt.libm
bos.perf.libperfstat 6.1.2.1
bos.perf.perfstat
bos.perf.proctools
rsct.basic.rte
rsct.compat.clients.rte
xlC.aix61.rte 10.1.0.0
2.4创建用户和用户组
使用smit 工具创建相关用户与用户组。
在创建用户和组时，需要确保手工指定每个用户和每个组的id号，保整两个节点的id号和用户名完全相同。
oracle用户相关组：
uid=1001(oracle)gid=1000(oinstall) groups=1100(dba),1200(asmdba)
grid用户相关组：
uid=1011(grid)gid=1000(oinstall) groups=1100(dba),1200(asmdba),1300(asmadmin),1400(asmoper)
2.4.1grid用户
1、在两台主机上要保证grid用户具有以下能力：
CAP_NUMA_ATTACH,CAP_BYPASS_RAC_VMM and CAP_PROPAGATE
查看grid用户能力： # /usr/bin/lsuser -a capabilitiesgrid
2、设置grid用户密码： #passwdgrid
3、在两台主机上最消grid用户shell限制
修改/etc/security/limits文件，具体参数如下：
fsize = -1
core = 2097151
cpu = -1 data = -1
rss = -1 stack = -1
nofiles = -1
2.4.2oracle用户
1、在两台主机上要保证oracle用户具有以下能力：
CAP_NUMA_ATTACH,CAP_BYPASS_RAC_VMM and CAP_PROPAGATE
查看oracle用户能力： # /usr/bin/lsuser -acapabilities oracle
2、设置oracle用户密码：#passwd oracle
3、在两台主机上最消oracle用户shell限制
修改/etc/security/limits文件，具体参数如下：
fsize = -1
core = 2097151
cpu = -1
data = -1
rss = -1
stack = -1
nofiles = -1
2.4.3root用户
在两台主机上最消root用户shell限制，修改/etc/security/limits 文件。
具体参数如下：
fsize = -1
core = 2097151
cpu = -1
data = -1
rss = -1
stack = -1
nofiles = -1
2.4.3修改安装目录权限
将目录权限授予对应的用户，并修改文件系统权限：
将opt目录授予oinstall 组
chownroot.oinstall /opt
chmod 775 /opt
2.4.4 修改.profile文件
在两台服务器的的grid用户的.profile最后，增加如下内容：
umask022
exportORACLE_BASE=/opt/11.2.0
exportORACLE_HOME=$ORACLE_BASE/grid_1
exportORACLE_SID=+ASM1
exportNLS_LANG=AMERICAN_AMERICA.ZHS16GBK
exportNLS_DATE_FORMAT="yyyy-mm-dd hh24:mi:ss"
exportPATH=.:${PATH}:$HOME/bin:$ORACLE_HOME/bin
exportPATH=${PATH}:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin
exportPATH=${PATH}:$ORACLE_BASE/bin
exportORACLE_PATH=${PATH}:$ORACLE_BASE/common/oracle/sql:.:$ORACLE_HOME/rdbms/adminexport ORACLE_TERM=xterm
exportTNS_ADMIN=$ORACLE_HOME/network/admin
exportORA_NLS10=$ORACLE_HOME/nls/data
exportLD_LIBRARY_PATH=$ORACLE_HOME/lib
exportLD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/lib:/usr/lib:/usr/local/lib
exportCLASSPATH=$ORACLE_HOME/JRE
exportCLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlib
exportCLASSPATH=${CLASSPATH}:$ORACLE_HOME/rdbms/jlib
exportCLASSPATH=${CLASSPATH}:$ORACLE_HOME/network/jlib
exportTHREADS_FLAG=native export TEMP=/tmp
exportTMPDIR=/tmp
exportPS1=`hostname`:'$PWD'"$"
if[ -t 0 ]; then
sttyintr ^C
fi
在两台服务器的的oracle用户的.profile最后，增加如下内容：
umask 022
export ORACLE_BASE=/opt/oracle/app/oracle
exportORACLE_HOME=$ORACLE_BASE/product/11.2.0/dbhome_1
export ORACLE_SID=fjyd1
export ORACLE_UNQNAME=fjyd
export NLS_LANG=AMERICAN_AMERICA.ZHS16GBK
export NLS_DATE_FORMAT="yyyy-mm-ddhh24:mi:ss"
exportPATH=.:${PATH}:$HOME/bin:$ORACLE_HOME/dbhome_1/bin
exportPATH=${PATH}:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin
export PATH=${PATH}:$ORACLE_HOME/bin
exportORACLE_PATH=${PATH}:$ORACLE_BASE/common/oracle/sql:.:$ORACLE_HOME/rdbms/adminexport ORACLE_TERM=xterm
export TNS_ADMIN=$ORACLE_HOME/network/admin
export ORA_NLS10=$ORACLE_HOME/nls/data
export LD_LIBRARY_PATH=$ORACLE_HOME/lib
exportLD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/lib:/usr/lib:/usr/local/lib
export CLASSPATH=$ORACLE_HOME/JRE
export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlib
export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/rdbms/jlib
export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/network/jlib
export THREADS_FLAG=native export TEMP=/tmp
export TMPDIR=/tmp
export PS1=`hostname`:'$PWD'"$"
if [ -t 0 ]; then
stty intr ^C
fi
2.5 调试AIX操作系统参数
2.5.1 确认打开异步IO
通过以下命令查看：
ioo–o aio_maxreqs
注：aix6.1环境下，系统默认打开异步功能。
2.5.2调整虚拟内存管理
Oracle推存使用vmo命令去调优虚拟内存管理，参数推荐如下：
命令如下:
vmo-p -o minperm%=3
vmo-p -o maxperm%=90
vmo-p -o maxclient%=90
vmo-p -o lru_file_repage=0
vmo-p -o strict_maxclient=1
vmo-p -o strict_maxperm=0
备注：修改此参数后需要重启系统生效。
2.5.3增加系统块尺寸分配
Oracle推荐增加ARG/ENV空间分配到128，也就是128个4K的块大小，命令如下：/usr/sbin/chdev -l sys0 -a ncargs='128'
2.5.4 调整SHELL限制
1.在/etc/security/limits文件中增加如下行:
default:fsize = -1
core= 2097151
cpu= -1
data= -1
rss= -1
stack= -1
nofiles= -1
2.查看系统当前允许运行的最大进程数:
/usr/bin/lsattr-E -l sys0 -a maxuproc
修改 maxuproc参数
/usr/sbin/chdev-l sys0 -a maxuproc = 16384
2.5.5调整用户允计每户最大进程参数
使用smitty chgsys修改“Maximum number of PROCESSES allowed per user”，调整为4096。
2.5.6确认网络配置参数
用# /usr/sbin/no -a | more来查看网络参数是否满足下面的要求
NetworkTuning Parameter Recommended Value
ipqmaxlen 512
rfc1323 1
sb_max 2*655360
tcp_recvspace 65536
tcp_sendspace 65536
udp_recvspace 655360
udp_sendspace 65536
2.6配置双机信任关系
安装rac 需要配置两节点的ORACLE用户和GRID用户的ssh 互信。
mkdir ~/.ssh
chmod 700 ~/.ssh
ssh-keygen -t rsa
ssh-keygen -t dsa
在 p740b 上执行
mkdir ~/.ssh
chmod 700 ~/.ssh
ssh-keygen -t rsa
ssh-keygen -t dsa
在 p740a 上执行
cat~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
cat~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
scp~/.ssh/authorized_keys p740b:/opt/oracle/.ssh/authorized_keys
按照此方法，分别配置oracle和grid用户。
2.7配置NTP保持双机时间同步
在第一节点(p740a)节点执行，将第一节点配置ntp服务器。
1、编辑/etc/ntp.conf文件：
broadcastclient
server 127.127.1.0 prefer
driftfile /etc/ntp.drift
tracefile /etc/ntp.trace
2、启动xntpd服务：
#startsrc -s xntpd
在第二节点(p740b)配置crontab，每5分钟想第一节点同步一次。
3、在第二节点root用户下配置crontab 定时同步时间
0,5,10,15,20,25,30,35,40,45,50,55 * * * *ntpdate 172.29.113.53 &
2.8文件系统大小的修改
系统安装时默认分配系统分区较小，在安装rac前，需要手工将一些分区调大，
使用smit chfs命令，进入管理界面，加大分区空间，分区空间大小的计算方式：
底层磁盘使用raid 1，因此在计算空间大小时，分配的空间应为所需空间的两倍。
例如想将磁盘扩展到80G，那么新分区的大小应为（默认分配单位为byte）：
=80*1024*1204*2
2.9 磁盘属性的调整
分别在两台主机上修改磁盘阵列映射到主机上的磁盘属性，否则磁盘将无法实现共享，无法创建asm共享磁盘。
chdev-l hdisk4 -a reserve_policy=no_reserve
chdev-l hdisk5 -a reserve_policy=no_reserve
chdev-l hdisk6 -a reserve_policy=no_reserve
chdev-l hdisk7 -a reserve_policy=no_reserve
chdev-l hdisk8 -a reserve_policy=no_reserve
chdev-l hdisk9 -a reserve_policy=no_reserve
chdev-l hdisk10 -a reserve_policy=no_reserve
chdev-l hdisk11 -a reserve_policy=no_reserve
chdev-l hdisk12 -a reserve_policy=no_reserve
chdev-l hdisk13 -a reserve_policy=no_reserve
chdev-l hdisk14 -a reserve_policy=no_reserve
使用以下命令，查看磁盘属性
lsattr-El hdisk5
擦除PVID（所有的共享盘全部都要操作）
/usr/sbin/chdev-l hdisk10 -a pv=clear
/usr/sbin/chdev-l hdisk11 -a pv=clear
/usr/sbin/chdev-l hdisk4 -a pv=clear
/usr/sbin/chdev-l hdisk5 -a pv=clear
/usr/sbin/chdev-l hdisk6 -a pv=clear
可以通过以下命令查看磁盘的pvid是否已经清空：
lspv
如下，显示为none的，表示已经清空。
# lspv
hdisk0 00f8c94b639eb353 rootvg active
hdisk1 00f8c94bea63c14f rootvg active
hdisk2 00f8c94bea66d1df rootvg active
hdisk3 00f8c94bea66d2cc rootvg active
hdisk4 none None
hdisk5 none None
hdisk6 none None
hdisk7 none None
hdisk8 none None
hdisk9 none None
hdisk10 none None
每一个hdisk 在系统中对应一个rhdisk ，修改rhdisk 的以下属性，hdisk属性不变所有的共享盘全部都要操作）。
chown grid.oinstall rhdisk4
chown grid.oinstall rhdisk5
chown grid.oinstall rhdisk6
chown grid.oinstall rhdisk7
chown grid.oinstall rhdisk8
chown grid.oinstall rhdisk9
chown grid.oinstall rhdisk10
将共享磁盘赋予660权限
chmod660 rhdisk4
chmod660 rhdisk5
chmod660 rhdisk6
chmod660 rhdisk7
chmod660 rhdisk8
chmod660 rhdisk9
chmod660 rhdisk10
3 安装集群软件
3.1安装前检查与执行rootpre.sh
以grid用户登录，进入grid目录，执行安装检查：
$./runcluvfy.sh stage -pre crsinst -n p740a,p740b –verbose
在与检测步骤时，oracle 可能会提示需要打两个系统补丁，如下：
因为aix系统不同的系统版本，对应的补丁号也不同，因此在打了对应功能的补丁包后，oracle 仍提示检测不通过，我们可以在安装时忽略此告警。
执行rootpre.sh
在两台主机上分别执行rootpre.sh$/soft/grid/grid/rootpre.sh
3.2开始grid安装
在$/soft/grid/grid/的目录下，键入./runInstaller开始安装：
1.选择跳过软件更新
2.选择第一项安装和配置GI
3.选择“advancedinstallation”
4.选择英文和简体中文
5.指定scan name，并取消gns 的勾选。
6.指定安装节点
7.指定网卡属性
8.指定存储ocr 和votedisk 的文件系统，这里我们选择asm存储。
9.创建存放ocr和votedisk 的磁盘组，磁盘组名称，我们指定为ocrvote，选择外部冗余，添加三块盘，这里每块盘为3G，因此创建的磁盘组大小为9G，因为磁盘阵列上，尚有部分空间，为了提高冗余度和安全性，后面我重建了ocrvote磁盘组，变更冗余度为high，添加6块盘，其中5块盘用于存放votedisk（存放5份）和ocr 文件（在ocrvote磁盘组存放一份，另在oradata1磁盘组存放一份ocr）。
10.指定asm密码
11.指定系统用户组
12.指定安装路径
13.校验目标服务器的环境与shell
14.检查的不符合规格项。（以下选择项都数据域可选项，可以不修改，两个ospatch 其实已经打上，但是因为系统版本的问题，patch号可以不同，但是oracle 始终检测不到，这里也一并忽略）
15.安装信息的summary
16.查看安装进度，确认所有项成功安装。
17.安装进度到100%时，会出现以下错误信息，这是由于没有配置gns的原因，可以直接忽略。然后很据提示，分别在两个节点以root用户执行脚本。
4 安装数据库软件
4.1执行rootpre.sh
以root用户登录，在两台主机上分别执行rootpre.sh
$/soft/db/database/rootpre.sh
4.2开始数据库安装
在$/soft/db/database/的目录下，键入./runInstaller开始安装：
1.进入安装界面后，选择只安装数据库软件：
2.
选择real application clusterdatabase installlation，然后选中所有的节点：
在此处可以一并验证用户的ssh对等性。
3.添加安装预言
4.选择企业版数据库安装
5.指定安装路径
6.指定安装用户组
7.安装环境的与检测
8.提示的不符合安装项，这些项都是非必须安装的，可以直接忽略。
9.完成安装
10.安装完成后，根据提示运行相应的脚本，然后点击OK。
5 创建ASM磁盘组
在数据库软件安装完成后，在grid用户下执行asmca，创建asm磁盘组
根据预先规划的磁盘用途，分别创建磁盘组：
输入需要常见的磁盘组名称，并添加磁盘，由于底层已经做了raid，所以我们这里都选择external
以下是创建完成的截图
6创建数据库
1.以oracle用户登录，执行dbca命令，创建数据库：
2.选择数据库创建模板
3.指定实例名，并选择两个节点
4.取消企业管理器的配置
5.设置密码
6.指定默认的磁盘组
7.指定闪回恢复区
8.数据块默认是8K
9.选择中文数据库字符集为简体中文
10.连接模式：
11.确认创建数据库
完成数据库创建工作。
7.GI 的deinstall
1. 执行下面的命令来去掉GI的配置信息，包括删除OCR和Votinkg等：
1). As root, 在除了最后一个节点之外的所有节点执行下面的命令，比如有两个节点，那么在节点1执行下面的命令：
$GRID_HOME/crs/install/rootcrs.pl -verbose -deconfig -force"
2). As root, 在最后一个节点运行下面的命令，如果有两个节点，那么在节点2执行下面的命令，这个命令会清除OCR和Voting Disk:
$GRID_HOME/crs/install/rootcrs.pl -verbose -deconfig -force -lastnode
3). 用grid用户，在所有节点执行下面的命令删除GI软件：
$GRID_HOME/deinstall/deinstall
4). 如果上面的命令执行不成功，请按照下面文档中的步骤手工删除GI：
How to Deinstall Oracle Clusterware Home Manually (Doc ID 1364419.1)
本文中有部分截图没有正常显示，请转至下载中心：http://down.51cto.com/data/1061781