HP-UX oracle RAC 双机实践

一、软硬件配置检查
1、检查内存
#/usr/contrib/bin/machinfo
CPU info:
4 Intel(R) Itanium 2 9100 series processors (1.59 GHz, 18 MB)
532 MT/s bus, CPU version A1
8 logical processors (2 per socket)
Memory: 32737 MB (31.97 GB)
Firmware info:
Firmware revision: 04.11
FP SWA driver revision: 1.18
IPMI is supported on this system.
BMC firmware revision: 5.24
Platform info:
Model: "ia64 hp server rx6600"
Machine ID number: 85468ec4-4ed7-11de-b9fa-eb58278042cf
Machine serial number: SGH4917N5P
OS info:
Nodename: rx6600b
Release: HP-UX B.11.31
Version: U (unlimited-user license)
Machine: ia64
ID Number: 2235993796
vmunix _release_version:
@(#) $Revision: vmunix: B.11.31_LR FLAVOR=perf
2、检查交换空间
#/usr/sbin/swapinfo -a
Kb Kb Kb PCT START/ Kb
TYPE AVAIL USED FREE USED LIMIT RESERVE PRI NAME
dev 8388608 0 8388608 0% 0 - 1 /dev/vg00/lvol2
reserve - 579384 -579384
memory 31886172 4310692 27575480 14%
对于小于2g物理内存的系统，设置为物理内存的2倍。对应大于2g内存的系统，设置为跟物理内存同样大小。
3、检查临时空间
#bdf /tmp
Filesystem kbytes used avail %used Mounted on
/dev/vg00/lvol4 2097152 548944 1536784 26% /tmp
保证至少400m，推荐1g
如果没有400M可以设置oracle用户的环境变量，增加临时空间
$ oracle用户执行 vi ~/.profile,增加
export TEMP=/directory
export TMPDIR=/directory
可以在线扩展文件系统
4、建立 oracle 安装目录，包括 crs （安装在共享存储上）
#lvcreate -L 15g -n lv_ora /dev/vg00
#newfs -F vxfs /dev/vg00/rlv_ora
#mkdir /oracle
#vi /etc/fstab 增加自动挂载
#mount /oracle
5、查看是否开启RAW设备的异步I/O
# swlist | grep -i -e extsw -e gold -e qpk
QPKBASE B.11.31.0903.334a Base Quality Pack Bundle for HP-UX 11i v3, March 2009
# ll /dev/async （默认是开启的）
crw-rw-rw- 1 bin bin 101 0x000000 Jun 9 09:38 /dev/async
没有开启可以通过一下方法开启
#创建/dev/async character device
/sbin/mknod /dev/async c 101 0x0
chown oracle:dba /dev/async
chmod 660 /dev/async
#用SAM在 kernel配置async driver
=> Kernel Configuration
=> Kernel
=> the driver is called 'asyncdsk'
Generate new kernel(生成新的kernel)
重启
# shutdown -r -y 0
#用sam设置HP-UX kernel参数
max_async_ports = init.ora参数中指定的processes值 + oracle后台进程的数量
aio_max_ops = 默认2048
6、检查系统时间是否同步
#date
查看每个节点的日期时间，尽可能的同步,如果不同步,用date MMDDHHMIYY ,比如2007/09/09 10:21,可以如下设置:date 0909102107进行同步
7、检查符合的连接是否存在
cd /usr/lib
ls libX*.sl
# 如果不存在需要创建
cd /usr/lib
ln -s libX11.3 libX11.sl
ln -s libXIE.2 libXIE.sl
ln -s libXext.3 libXext.sl
ln -s libXhp11.3 libXhp11.sl
ln -s libXi.3 libXi.sl
ln -s libXm.4 libXm.sl
ln -s libXp.2 libXp.sl
ln -s libXt.3 libXt.sl
ln -s libXtst.2 libXtst.sl
ls -al libX*.sl
8、查看网络接口
#查看各个接口
#lanscan
Hardware Station Crd Hdw Net-Interface NM MAC HP-DLPI DLPI
Path Address In# State NamePPA ID Type Support Mjr#
0/4/2/0 0x001A4B09924C 0 UP lan0 snap0 1 ETHER Yes 119
0/4/2/1 0x001A4B09924D 1 UP lan1 snap1 2 ETHER Yes 119
LinkAgg0 0x000000000000 900 DOWN lan900 snap900 4 ETHER Yes 119
LinkAgg1 0x000000000000 901 DOWN lan901 snap901 5 ETHER Yes 119
LinkAgg2 0x000000000000 902 DOWN lan902 snap902 6 ETHER Yes 119
LinkAgg3 0x000000000000 903 DOWN lan903 snap903 7 ETHER Yes 119
LinkAgg4 0x000000000000 904 DOWN lan904 snap904 8 ETHER Yes 119

#显示各个接口的ip和状态 （需要保证每台节点上使用的接口具有相同的名字）
#netstat -in
Name Mtu Network Address Ipkts Ierrs Opkts Oerrs Coll
lo0 32808 127.0.0.0 127.0.0.1 58845 0 58845 0 0
lan1 1500 192.168.1.0 192.168.1.3 91391 0 178583 0 0
lan0 1500 10.160.8.0 10.160.8.12 6760363 0 640706 0 0
# 显示指定接口的当前配置
#ifconfig lanX
保证一个接口比如lan0为外部连接用，一个接口如lan1为内部心跳线。vip的ip跟外部接口要在一个网段
9、编辑 /etc/hosts
#vi /etc/hosts
192.168.1.2 rx6600a-priv
192.168.1.3 rx6600b-priv
10.160.8.11 rx6600a
10.160.8.12 rx6600b
10.160.8.15 rx6600a-vip
10.160.8.16 rx6600b-vip
127.0.0.1 localhost loopback
//注意: hosts中必须存在127.0.0.1的条目，且只能对应localhost相关，不能对应hostname;如果不设置127.0.0.1，则无法正常启动数据库。
#vi .rhosts
rx6600a root
rx6600b root
rx6600a-priv root
rx6600b-priv root
rx6600a-vip root
rx6600b-vip root
# su - oracle
#vi .rhosts
rx6600a oracle
rx6600b oracle
rx6600a-priv oracle
rx6600b-priv oracle
rx6600a-vip oracle
rx6600b-vip oracle
10、查看hp-ux的具体patch 和pack
/usr/sbin/swlist -l bundle | grep xxxName
/usr/sbin/swlist -l patch
/usr/sbin/swlist -l patch
/usr/sbin/swlist -l product |grep Serviceguard
PHSS_38558 1.0 Serviceguard eRAC A.11.18.00
PHSS_39484 1.0 Serviceguard A.11.18.00
SG-NMAPI A.11.18.00 SG-NMAPI Serviceguard Extension for RAC SD product
SG-RAC-Tool A.11.18.00 Serviceguard Extension for RAC Toolkit SD Product
SGManagerPI B.01.01 HP Serviceguard Manager
SGWBEMProviders A.02.00.00 HP Serviceguard WBEM Providers SD Product
ServiceGuard A.11.18.00 Serviceguard SD Product
注:Hp-ux 11.31的默认安装过程,能够满足oracle 10.2.0.1的安装需求。
二、安装MC/SG
1、安装MC/SG
#mount /dev/cdrom /cdrom
#swinstall -s /cdrom
2、创建锁盘
#ioscan -m dsf //察看磁盘
#pvcreate -f /dev/disk/disk27
#mkdir /dev/vglock
#mknod /dev/vglock/group c 64 0x010000 (这里注意group不能重复)
#vgcreate /dev/vglock /dev/disk/disk27 （将物理磁盘disk23加给该卷组）
#strings /etc/lvmtab
/dev/vg00
/dev/disk/disk1_p2
/dev/vglock
/dev/disk/disk27
/dev/vgcrs
/dev/disk/disk33
/dev/vgdata2
/dev/disk/disk28
/dev/disk/disk34
/dev/vgdata1
/dev/disk/disk25
/dev/disk/disk26
#vgchange -a n /dev/vglock
#vgexport -s -p -v -m /tmp/vglock.map /dev/vglock
#rcp /tmp/vglock.map rx6600b:/tmp/
#vgimport -s -m /tmp/vglock.map
3、创建concurrent VG 及相关文件系统或 LV raw
#ioscan -m dsf
#pvcreate -f /dev/rdisk/disk12
#mkdir /dev/vg03
#mknod /dev/vg03/group c 64 0x030000
#vgcreate vg03 /dev/disk/disk12
#lvcreate -L 1000 -n mylv vg03
建立文件系统
#newfs -F vxfs /dev/vg03/mylv
#mkdir /oradata 建mount目录
#mount /dev/vg03/mylv /oradata mount文件系统
开机自动挂载文件系统
#vi /etc/fstab
如果是要共享的vg 则：
#vgchange -a n vg03 关闭卷组
#vgexport -p -s -m /tmp/map1 vg03 导出卷组配置信息（注:-p是保留卷组信息，-s是设为共享，-m /tmp/map1是生成map1卷组信息信息文件）
#rcp /tmp/map1 rx6600b:/tmp/map1 拷贝文件到主机B上
在 rx6600b 机器上
#mkdir /dev/vg03 创建设备卷目录
#mknod /dev/vg03/group c 64 0x030000 创建卷控制文件
(注：03是机器上唯一的，先用ls -l */group查看是否已存在，如已存在03，将改变此值，取值：00-16)
#vgimport -s -m /tmp/map1 vg03 导入vg03卷组信息
#strings /etc/lvmtab 查看导入的卷组配置
#vgchange -a y vg03 激活vg03卷组
#mkdir /oradata 建mount目录(与主机A相同)
#mount /dev/vg03/mylv /oradata mount文件系统
将VG设置为非自动激活
#vi /etc/lvmrc
其中
AUTO_VG_ACTIVATE=1 修改为0
4、MC/SG 配置
#cd /etc/cmcluster 进入cluster的默认目录
#cmquerycl -C cluster.ascii -n rx6600 -n rx6600 创建cluster文本文件
#vi cluster.ascii 编辑cluster ASCII 文件,更改cluste name、锁盘、节点心跳时间、包数量
CLUSTER_NAME cluster1
FIRST_CLUSTER_LOCK_VG /dev/vglock
NODE_NAME rx6600a
NETWORK_INTERFACE lan0
HEARTBEAT_IP 10.160.8.11
NETWORK_INTERFACE lan1
HEARTBEAT_IP 192.168.1.2
# CLUSTER_LOCK_LUN
FIRST_CLUSTER_LOCK_PV /dev/disk/disk27
NODE_NAME rx6600b
NETWORK_INTERFACE lan0
HEARTBEAT_IP 10.160.8.12
NETWORK_INTERFACE lan1
HEARTBEAT_IP 192.168.1.3
# CLUSTER_LOCK_LUN
FIRST_CLUSTER_LOCK_PV /dev/disk/disk32
HEARTBEAT_INTERVAL 1000000
NODE_TIMEOUT 2000000
AUTO_START_TIMEOUT 600000000
NETWORK_POLLING_INTERVAL 2000000
MAX_CONFIGURED_PACKAGES 4
///// VOLUME_GROUP /dev/vg02 热备双机时，设置
OPS_VOLUME_GROUP /dev/vglock //并发VG 的设置，用于 oracle RAC
OPS_VOLUME_GROUP /dev/vgcrs
OPS_VOLUME_GROUP /dev/vgdata2
OPS_VOLUME_GROUP /dev/vgdata1
#cmcheckconf -C cluster.ascii 检查cluster、节点配置情况
#cmapplyconf -C cluster.ascii 创建cluster
#cmruncl -v
#cmviewcl -v
5．配置服务包运行脚本、环境
主机A（rx660a）:
#mkdir /etc/cmcluster/pkg1
#cd /etc/cmcluster/pkg1 创建和进入一目录
#cmmakepkg -p clustercrs.conf 创建包配置文件,可修改包名、节点、服务和包属性
#vi clustercrs.conf 编辑包配置文件
PACKAGE_NAME pkg1 //包名字
PACKAGE_TYPE FAILOVER //发生错误时进行切换。
NODE_NAME rx6600a //first 优先级节点1
//NODE_NAME rx6600b //second优先级节点1，当热备时用
AUTO_RUN YES //cmruncl 时，自启动。
NODE_FAIL_FAST_ENABLED NO //当pkg 发生问题时，节点是否也宕。
RUN_SCRIPT /etc/cmcluster/pkg1/clustercrs.cntl 包运行脚本
RUN_SCRIPT_TIMEOUT NO_TIMEOUT
HALT_SCRIPT /etc/cmcluster/pkg1/clustercrs.cntl 包停止脚本
HALT_SCRIPT_TIMEOUT NO_TIMEOUT
#CONFIGURED_NODE, MIN_PACKAGE_NODE, SITE_PREFERRED. //当pkg fail 时，切换到的节点规则
FAILOVER_POLICY CONFIGURED_NODE //切换到已配置的优先级高的节点。
FAILBACK_POLICY MANUAL //是自动AUTOMATIC ，还是 手动 切换回来。
MONITORED_SUBNET 10.160.8.0
#cmmakepkg -s clustercrs.cntl 创建包控制脚本
#vi clustercrs.cntl 编辑包控制脚本
clustercrs.cntl配置例子：
PATH=/usr/bin:/usr/sbin:/etc:/bin:/usr/lbin:/etc/cmcluster/pkg1 ///加入包文件目录的路径
VGCHANGE="vgchange -a s" //MC接管激活卷组的参数，默认是vgchange -a e ,RAC 用vgchange -a s
VG[0]=vg03 //切换接管的卷组名，可同时有多个，顺序是0、1、2、3
VG[1]="vgdata1"
VG[2]="vgdata2"
VG[3]="vgcrs"
/// LV[2]=/dev/vg03/mylv; FS[2]=/oradata; FS_MOUNT_OPT[2]="" // 逻辑卷的mount 目录，需要挂载的文件系统
//IP[0]=192.168.168.20 应用包的IP地址
//SUBNET[0]=192.168.168.0 应用包的监听网段
//SERVICE_NAME[0]="demo"
//SERVICE_CMD[0]="/usr/bin/X11/xclock -display 192.168.168.23:0"（或设置一个脚本，内容见附录）
//SERVICE_RESTART[0]="-R"
function customer_defined_run_cmds
{ （在此加入应用启动的命令）
test_return 51
}

function customer_defined_halt_cmds
{ （在此加入应用关闭的命令）
test_return 52
}
(注: SERVICE_NAME[0]="demo"是服务名，必须与demo.conf里的SERVICE_NAME相同名。SERVICE_CMD[0]= "..."是启动服务时运行的命令,现在用的命令是"/usr/bin/X11/xclock -display 192.168.168.23:0"表示运行xclock并在192.168.168.23的工作站上显示出来。SERVICE_RESTART[0] =""是服务重启的次数，“-r 2”是重启两次，“-R”是不断重启。)
4．在集群内添加服务包，配置各节点接管包环境
#rcp clustercrs.cntl rx6600b:/etc/cmcluster/pkg1 拷贝控制脚本，将demo.cntl控制脚本拷到主机B上，使其环境同步）
#cmcheckconf -v -P clustercrs.conf 检查包配置，检验以上对包的配置是否有误，在脚本目录里会有与脚本名相同的log文件，如：demo.cntl.log 。如果一切无误将接着做下一步，否则要做相应的修改，直至无误。）
#cmapplyconf -v -P clustercrs.conf 将包加入集群cluster
执行配置检查
#cmcheckconf -v -C /etc/cmcluster/cmcluster.ascii -P /etc/cmcluster/informix/informix.cntl
重新分发cluster.ascii文件
#cmapplyconf -v -C /etc/cmcluster/cluster.ascii -P /etc/cmcluster/informix/informix.cntl
#cmrunpkg cluster 运行demo包
#cmviewcl -v 查看cluster和cluster里节点的信息
CLUSTER、NODE、INTERFACE、PACKAGE的状态都是up和running ，PKG_SWITCH、NODE_TYPE SWITCHING都是enabled，）
5．启动和管理、集群、节点、服务包
#cmruncl 启动集群cluster
#cmhaltcl 关闭集群cluster
#cmrunnode node_name 启动一个或多个节点
#cmhaltnode -f node_name 关闭一个或多个节点
#cmrunpkg pkg_name 启动应用包
#cmhaltpkg pkg_name 关闭应用包
#cmviewcl -v 查看cluster和cluster里节点的信息
#cmmodpkg -e pkg_name 使应用包可被接管、切换
#cmmonpkg -e -n node_name pkg_name 使节点可接管应用包
附录：
mc的监控脚本可以写一个无实质的循环指令，目的在于让命令不执行不间断。可以起一个名为monitor的脚本，在脚本内写入简单的，如：
while [ 1 ]
do
sleep 30
done
安装 oracle clusterware
采取文件系统形式或 LV raw 方式，则需要OPSVG 解决concurrent VG的问题。
#groupadd -g 201 dba
#groupadd -g 200 oinstall
#useradd -u 200 -g oinstall -G dba,oinstall oracle //如果没有创建oracle的默认目录，创建默认目录 /home/oracle
#id oracle //检查是否存在nobody用户
#id nobody
编辑oracle用户$HOME目录下的.rhosts
#vi /home/oracle/.rhosts
rx6600a oracle
rx6600a_vip oracle
rx6600a_priv oracle
rx6600b oracle
rx6600b_vip oracle
rx6600b_priv oracle
配置 profile 文件
#vi /home/oracle/.profile
ORACLE_HOME=/oracle/product/10.2.0
export ORACLE_HOME
ORACLE_BASE=/oracle
export ORACLE_BASE
ORACLE_SID=gzga1
export ORACLE_SID
export ORA_CRS_HOME=/oracrs
JAVA_HOME=/opt/java1.5
export JAVA_HOME
TNS_ADMIN=$ORACLE_HOME/network/admin
export TNS_ADMIN
NLS_LANG=AMERICAN_AMERICA.ZHS16GBK
export NLS_LANG
NLS_LANGUAGE=$NLS_LANG
export NLS_LANGUAGE
ORA_NLS33=$ORACLE_HOME/ocommon/nls/admin/data export ORA_NLS33
LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib:$ORACLE_HOME/rdbms/lib
SHLIB_PATH=$ORACLE_HOME/lib32:$ORACLE_HOME/rdbms/lib32
export LD_LIBRARY_PATH
export SHLIB_PATH
stty erase
PATH=$PATH:/opt/java1.5/bin:/bin:/usr/bin:/usr/sbin:/etc:/opt/bin:/usr/ccs/bin:/usr/local/bin:$ORACLE_HOME/bin:.
export PATH
TMP=/tmp export TMP
TMPDIR=/tmp export TMPDIR
CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib:$ORACLE_HOME/network/jlib:$ORACLE_HOME/jdbc/lib/classes12.zip
export CLASSPATH
ORACLE_BASE=/oracle/app/oracle;export ORACLE_BASE
ORACLE_HOME=$ORACLE_BASE/product/10.2.0/db;export ORACLE_HOME
export ORA_CRS_HOME=/oracrs
ORACLE_SID=gzga1;export ORACLE_SID
ORA_NLS33=$ORACLE_HOME/ocommon/nls/admin/data;export ORA_NLS33
ORACLE_TERM=vt100;export ORACLE_TERM
TMPDIR=/oracle/tmp;export TMPDIR
LD_LIBRARY_PATH=$ORACLE_HOME/lib:/usr/lib;export LD_LIBRARY_PATH
PATH=/usr/ccs/bin:$ORACLE_HOME/bin:/usr/bin:/usr/opt/networker/bin:$PATH;export PATH
DISPLAY=10.160.8.191:0.0;export DISPLAY
NLS_LANG=american_america.zhs16gbk;export NLS_LANG
TNS_ADMIN=$ORACLE_HOME/network/admin;export TNS_ADMIN
TERM=vt100;export TERM
EDITOR=vi; export EDITOR
TMP=/tmp;export TMP
CLASSPATH=$ORACLE_HOME/JRE/lib:$ORACLE_HOME/jlib:$ORACLE_HOME/network/jlib:$ORACLE_HOME/rdbms/jlib:$ORACLE_HOME/plsql/jlib:$ORACLE_HOME/assistants/jlib:$ORACLE_HOME/assistants/dbca/jlib;export CLASSPATH
DBCA_RAW_CONFIG=/oracle/dbca_raw_config.txt;export DBCA_RAW_CONFIG
export
[email=PS1=`hostname`@`whoami`'[$PWD]'$]PS1=`hostname`@`whoami`'[$PWD]'$[/email]
创建clusterWare和oracle的安装目录
mkdir -p /oracle/product/CRS
mkdir -p /oracle/product/RAC10g
chown -R oracle:oinstall /oracle
chmod -R 775 /oracle
# 设置OCR使用的raw设备:
chown root:oinstall /dev/rdisk/disk140
chmod 640 /dev/rdisk/disk140
如果数据库采用 ASM 方式，则不需要 MC/SG 双机软件
需要修改 磁盘的属性
chown oracle:dba /dev/rdisk/disk137
chown oracle:dba /dev/rdisk/disk138
chown oracle:dba /dev/rdisk/disk139
chmod 660 /dev/rdisk/disk137
chmod 660 /dev/rdisk/disk138
chmod 660 /dev/rdisk/disk139
安装oracle 数据库
#/cdrom/database/runInstaller -ignoresysprereqs

from：http://blog.chinaunix.net/u3/105031/showart_2077305.html

http://bbs.chinaunix.net/thread-1603215-1-1.html