HpUnix 2 节点11.2.0.3 Rac 环境搭建

HPUNIX IA64 11.31 Rac 实施文档

安装前规划

拓扑结构图:

主机环境：

节点名称	硬件型号	cpu	内存	操作系统
XXJ-01	rx7620	8*1.5g	16gb	11.31
XXJ-02	rx7620	8*1.5g	16gb	11.31

网络配置：

节点名称	共有ip地址	私有ip地址	虚拟ip地址	scan-vip
XXJ-01	10.10.12.12	192.168.0.3	10.10.12.112	10.10.12.115
XXJ-02	10.10.12.14	192.168.0.4	10.10.12.114	10.10.12.115

数据库环境

节点名称	实例名称	asm实例名	数据库版本	Grid版本
XXJ-01	sdzw1	+ASM1	11.2.0.3	11.2.0.3
XXJ-02	sdzw2	+ASM2	11.2.0.3	11.2.0.3

asm存储划分

diskgroup名称	冗余	总大小(gb)	卷可用大小(gb)	设备名
OCRS	normal	6	2gb	/dev/rdsk/ora_rac_d[1-3]
DATAS	external	100	100	/dev/rdsk/ora_rac_d4
RECO	external	200	200	/dev/rdsk/ora_rac_d5

安装前检查

检查磁盘空间

检查两个节点的存储空间以及swap

安装grid+oracle db 官方建议

swap < 32g

swap = 1.5 * ram =1.5 * 16 = 24GB

/dev/vg00/lvol2+/dev/vg00/myswap 大概23gb

XXJ-01#[/ins_bash]swapinfo -a

Kb Kb KbPCT START/ Kb

TYPEAVAIL USED FREEUSED LIMIT RESERVE PRINAME

dev16744448 0 16744448 0%0 - 1/dev/vg00/lvol2

dev8290304 0 8290304 0%0 - 1/dev/vg00/myswap

reserve- 407804 -407804

memory15917828 1950936 13966892 12%

/tmp 最少为7gb 两个节点剩余9gb左右

XXJ-02#[/]bdf /tmp

Filesystem kbytes usedavail %used Mounted on

/dev/vg00/lvol4 10485760523104 9884864 5% /tmp

XXJ-01#[/ins_bash]bdf /tmp

Filesystem kbytes usedavail %used Mounted on

/dev/vg00/lvol4 10485760523096 9884872 5% /tmp

/oracle 为安装oracle数据库软件以及集群软件目录至少需要

5(gi) + 8.2 (oracle db software) = 13.2 GB

因为还需要使用此文件夹来存放解压文件，所以至少需要20gb

这里两台机器剩余28gb

XXJ-01#[/ins_bash]bdf /oracle

Filesystem kbytes usedavail %used Mounted on

/dev/vg01/lvoracle 31457280 24791 29467966 0% /oracle

XXJ-02#[/]bdf /oracle

Filesystem kbytes usedavail %used Mounted on

/dev/vg01/lvoracle 31457280 24791 29467966 0% /oracle

初始化用户以及组

需要在两个节点执行，已经安装了bash，比较方便。如果还没安装，请看附录1。shell limit这里不用设置了看设置内核参数。

XXJ-01#[/oracle]groupadd -g 1000 oinstall

XXJ-01#[/oracle]groupadd -g 1001 dba

XXJ-01#[/]useradd -u 1100 -g oinstall -G dba -s/usr/local/bin/bash -m oracle

XXJ-01#[/oracle]passwd oracle

Changing password for oracle

New password:

Re-enter new password:

Passwd successfully changed

设置环境变量

vi ~/.profile

加入

umask 022

export ORACLE_BASE=/oracle/app/oracle

exportORACLE_HOME=$ORACLE_BASE/product/11.2.0/dbhome_1

export GRID_HOME=/oracle/app/11.2.0/grid

exportPATH=$ORACLE_HOME/bin:$GRID_HOME/bin:$PATH

export ORACLE_SID=sdzw[1|2]

根据节点定

创建目录以及授权

mkdir -p /oracle/app/11.2.0/grid

mkdir /oracle/app/grid

mkdir -p /oracle/app/oracle

mkdir -p/oracle/app/oracle/product/11.2.0/dbhome_1

chown -R oracle:oinstall /oracle

chmod 755 /oracle

网络设置

这里不使用dns以及dhcp服务器，而是使用hosts文件解析scan，所以只需在hosts文件里面加入一个scan条目即可。hosts文件如下所示：

10.10.12.12XXJ-01

10.10.12.112XXJ-01-VIP

192.168.0.3XXJ-01-PRIV

10.10.12.14XXJ-02

10.10.12.114XXJ-02-VIP

192.168.0.4XXJ-02-PRIV

10.10.10.101eva_sma

127.0.0.1localhost loopback

10.10.12.115cluster-scan

节点间时间设置

如果节点间相差时间较多，需要先行设置一下。使用date –u命令。

时间同步本文使用的是集群软件中的ctss服务，所以需要先行将ntp关掉。两个节点都需要执行。

XXJ-01#[/]/sbin/init.d/xntpd stop

XXJ-01#[/]mv /etc/ntp.conf /etc/ntp.conf.bk

设置ssh互信

这里说一下，11gr2Rac，必须使用ssh，其他应该没什么好说的了，11gr2这里可以跳过，使用界面设置。

两个节点的oracle用户执行：

-bash-4.2$ mkdir ~/.ssh

-bash-4.2$ ssh-keygen -t dsa

-bash-4.2$ ssh-keygen -t rsa

节点2oracle用户执行：

-bash-4.2$ cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys

-bash-4.2$ cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys

-bash-4.2$ ssh xxj-01 cat ~/.ssh/id_dsa.pub>> ~/.ssh/authorized_keys

-bash-4.2$ ssh xxj-01 cat ~/.ssh/id_rsa.pub>> ~/.ssh/authorized_keys

-bash-4.2$ scp ~/.ssh/authorized_keysxxj-01:~/.ssh/

最后别忘记测试一下

ssh xxj-01 date

ssh xxj-02 date

ssh xxj-02-priv date

ssh xxj-01-priv date

设置符号链接

cd /usr/lib

ln -s libX11.3 libX11.sl

ln -s libXIE.2 libXIE.sl

ln -s libXext.3 libXext.sl

ln -s libXhp11.3 libXhp11.sl

ln -s libXi.3 libXi.sl

ln -s libXm.4 libXm.sl

ln -s libXp.2 libXp.sl

ln -s libXt.3 libXt.sl

ln -s libXtst.2 libXtst.sl

异步io

两个节点都需要设置，不然检查过不去。

XXJ-02#[/]ll /dev/async

crw-rw-rw-1 bin bin 101 0x000000 Aug 28 10:42 /dev/async

需要设置

XXJ-02#[/]rm /dev/async

XXJ-02#[/] /sbin/mknod /dev/async c 101 0x4

XXJ-02#[/]chmod 666 /dev/async

XXJ-02#[/]ll /dev/async

crw-rw-rw-1 root sys 101 0x000004 Aug 28 14:14 /dev/async

如果这里没有发现设备，可以直接使用mknod命令创建

设置tcp udp 参数

最小应该为9000 最大65500

XXJ-01#[/usr/lib]/usr/bin/ndd /dev/tcptcp_smallest_anon_port tcp_largest_anon_port

49152

65535

vi/etc/rc.config.d/nddconf

加入如下内容

TRANSPORT_NAME[0]=tcp

NDD_NAME[0]=tcp_largest_anon_port

NDD_VALUE[0]=65500

TRANSPORT_NAME[1]=tcp

NDD_NAME[1]=tcp_smallest_anon_port

NDD_VALUE[1]=9000

TRANSPORT_NAME[2]=udp

NDD_NAME[2]=udp_largest_anon_port

NDD_VALUE[2]=65500

TRANSPORT_NAME[3]=udp

NDD_NAME[3]=udp_smallest_anon_port

NDD_VALUE[3]=9000

设置内核参数

ksi_alloc_max 32768

executable_stack 0

ksi_alloc_max 32768

max_thread_proc 1024

maxdsiz 1073741824 (1 GB)

maxdsiz_64bit 2147483648 (2 GB)

maxfiles 1024

maxfiles_lim 63488

maxssiz 134217728 (128 MB)

maxssiz_64bit 1073741824 (1 GB)

maxuprc 3686

msgmni 4096

msgtql 4096

ncsize 35840

nflocks 4096

ninode 34816

nkthread 7184

nproc 4096

semmni 4096

semmns 8192

semmnu 4096

semvmx 32767

shmmax 1073741824

shmmni 4096

shmseg 512

tcp_smallest_anon_port 9000

tcp_largest_anon_port 65500

udp_smallest_anon_port 9000

udp_largest_anon_port 65500

这里就不推荐命令了，因为需要设置的太多

使用

sam - - - - KernelConfiguration - - - -View or modify kernel tunables

找到相应函数慢慢改吧，改完后记得重启。

shelllimit不用设置了，修改好内核参数重启即可。

共享磁盘设置

这次使用asm来管理共享磁盘。需要注意两个节点的盘符必须相同。不然需要使用mknod命令设置一下（记住设置的是rdsk）。

节点1：

XXJ-01#[/dev/rdsk]ll /dev/rdsk/c9t0*

crw-r-----1 bin sys 188 0x090100 Aug 23 15:39/dev/rdsk/c9t0d1

crw-r-----1 bin sys 188 0x090200 Aug 23 15:39/dev/rdsk/c9t0d2

crw-r-----1 bin sys 188 0x090300 Aug 23 15:39/dev/rdsk/c9t0d3

crw-r-----1 bin sys 188 0x090400 Aug 23 15:39/dev/rdsk/c9t0d4

crw-r-----1 bin sys 188 0x090500 Aug 23 15:39/dev/rdsk/c9t0d5

我们使用这5个盘

mknod ora_rac_d1 c 188 0x090100

mknod ora_rac_d2 c 188 0x090200

mknod ora_rac_d3 c 188 0x090300

mknod ora_rac_d4 c 188 0x090400

mknod ora_rac_d5 c 188 0x090500

两个节点相同操作

节点2：

XXJ-02#[/dev/rdsk]ll /dev/rdsk/c19t0*

crw-r-----1 bin sys 188 0x130100 Aug 23 15:55/dev/rdsk/c19t0d1

crw-r-----1 bin sys 188 0x130200 Aug 23 15:55/dev/rdsk/c19t0d2

crw-r-----1 bin sys 188 0x130300 Aug 23 15:55/dev/rdsk/c19t0d3

crw-r-----1 bin sys 188 0x130400 Aug 23 15:55 /dev/rdsk/c19t0d4

crw-r-----1 bin sys 188 0x130500 Aug 23 15:55/dev/rdsk/c19t0d5

crw-r-----1 bin sys 188 0x130600 Aug 23 15:55/dev/rdsk/c19t0d6

crw-r-----1 bin sys 188 0x130700 Aug 23 15:55/dev/rdsk/c19t0d7

同样使用这5个盘

mknod ora_rac_d1 c 188 0x130100

mknod ora_rac_d2 c 188 0x130200

mknod ora_rac_d3 c 188 0x130300

mknod ora_rac_d4 c 188 0x130400

mknod ora_rac_d5 c 188 0x130500

授权660，不然cluvfy会报错。

chmod 660 /dev/rdsk/ora_*

chown oracle:oinstall /dev/rdsk/ora_*

最后的结果是这样的

XXJ-01#[/dev/rdsk]ll | grep ora

crw-rw----1 oracle oinstall 188 0x130100 Aug 28 09:59/dev/rdsk/ora_rac_d1

crw-rw----1 oracle oinstall 188 0x130200 Aug 28 09:59/dev/rdsk/ora_rac_d2

crw-rw----1 oracle oinstall 188 0x130300 Aug 28 09:59/dev/rdsk/ora_rac_d3

crw-rw----1 oracle oinstall 188 0x130400 Aug 28 09:59/dev/rdsk/ora_rac_d4

crw-rw----1 oracle oinstall 188 0x130500 Aug 28 09:59/dev/rdsk/ora_rac_d5

安装pacth

需要安装的path如下所示：

PHCO_41479

PHKL_38038 vm cumulative patch

PHKL_38938 11.31 SCSI cumulative I/O patch

PHKL_40941 Scheduler patch : post wait hang

PHSS_36354 11.31 assembler patch

PHSS_37042 11.31 hppac (packed decimal)

PHSS_37959 Libcl patch for alternate stackissue fix

(QXCR1000818011)

PHSS_39094 11.31 linker + fdp cumulative patch

PHSS_39100 11.31 Math Library Cumulative Patch

PHSS_39102 11.31 Integrity Unwind Library

PHSS_38141 11.31 aC++ Runtime

patch download：

patch很好打使用swinstall –s 即可，但是补丁不好找，需要提供相关的序列号。

http://itresourcecenter.hp.com

安装前验证

解压后进入grid目录下

./runcluvfy.sh stage -pre crsinst -nXXJ-01,XXJ-02 -fixup -verbose

如果执行不成功，执行完脚本之后，会在/tmp/CVU_11.2.0.3.0_oracle/

生成一个fix脚本，帮助修改内核参数以及其他的东西，笔者有试过，有些内核参数它不会设置，还是需要使用sam一步步设置。

最后的输出全部为successful即可。

后面因为大多数是图片，已经整理为pdf文档，详细请到下面的链接下载

http://download.csdn.net/detail/renfengjun/4533229