linux系统oracle rac 11G部署

安装说明

软件下载地址：https://www.oracle.com/technetwork/database/enterprise-edition/downloads/112010-linx8664soft-100572.html

总体规划

网络规划

节点名称	公共IP地址	心跳IP地址	虚拟IP地址	SCAN名称	SCAN IP地址
red1	192.168.211.149	192.168.211.150	192.168.56.121	rac-scan	192.168.211.175
red2	192.168.211.170	192.168.211.171	192.168.56.125

安装目录规划

软件组件	操作系统用户	安装位置
Grid	root	/u01/app/11.2.0/grid
Oracle	root	/u01/app/11.2.0/oracle

磁盘规划

磁盘名称	磁盘大小
VOL1	2G
VOL2	2G
VOL3	2G

环境配置

1). 修改主机名

vi   etc/sysconfig/network 

机器1命名为 red1 机器2命名为 red2

NETWORKING=yes
HOSTNAME=red1

2). hosts文件配置

vi /etc/hosts

添加以下内容

192.168.211.149  red1
192.168.211.150  red1-vip 
192.168.56.121   red1-priv

192.168.211.170  red2 
192.168.211.171  red2-vip 
192.168.56.125   red2-priv

192.168.211.175  rac-scan

3). 配置网络

按照网络规划进行网络IP的配置，具体可以参考博文
https://blog.csdn.net/kruie/article/details/87827882

网络连通性测试

red1 ping red2 ； red2 ping red1 测试网络时候联通

关闭防火墙

修改selinux 配置

[root@red1 ~]#  vi /etc/sysconfig/selinux 
SELINUX=disabled
[root@red1 ~]#  service iptables stop
[root@red1 ~]#  chkconfig iptables off

接点配置检查

内存大小：至少2.5GB
Swap大小：
当内存为2.5GB-16GB时，Swap需要大于等于系统内存。 当内存大于16GB时，Swap等于16GB即可。
查看内存和swap大小：

[root@red1 ~]# grep MemTotal /proc/meminfo
MemTotal:        3861520 kB
[root@red1 ~]# grep SwapTotal /proc/meminfo
SwapTotal:       3145724 kB

如果swap太小，swap调整方法：
https://blog.csdn.net/kruie/article/details/93484576

创建用户、组和目录，并授权

在每一个节点上安装Oracle Grid的用户、组和目录，并设置权限

# 添加组 (rac1&rac2)

groupadd -g 501 oinstall    # 设置oinstall组并赋予组ID为501

groupadd -g 502 dba

groupadd -g 503 oper

groupadd -g 504 asmadmin

groupadd -g 505 asmoper

groupadd -g 506 asmdba

# 添加用户 (rac1&rac2)

useradd -g oinstall -G dba,asmdba,oper,oinstall oracle

useradd -g oinstall -G asmadmin,asmdba,asmoper,oper,dba,oinstall grid

# 创建安装文件夹 

mkdir -p /u01/app/grid

mkdir -p /u01/app/11.2.0/grid

mkdir -p /u01/app/oracle

## 授权

chown -R grid:oinstall /u01

chown -R oracle:oinstall /u01/app/oracle

chmod -R 775 /u01

为 grid 和 oracle 用户设置密码

[root@red1 ~]# passwd oracle
[root@red1 ~]# passwd grid

系统文件设置

内核参数设置

[root@red2 ~]#  vi /etc/sysctl.conf

kernel.msgmnb = 65536 
kernel.msgmax = 65536 
kernel.shmmax = 4294967296 
kernel.shmall =  2147483648 
fs.aio-max-nr = 1048576 
fs.file-max = 6815744 
kernel.shmall = 2097152 
kernel.shmmax = 1306910720 
kernel.shmmni = 4096 
kernel.sem = 250 32000 100 128 
net.ipv4.ip_local_port_range = 9000 65500 
net.core.rmem_default = 262144 
net.core.rmem_max = 4194304 
net.core.wmem_default = 262144 
net.core.wmem_max = 1048586 
net.ipv4.tcp_wmem = 262144 262144 262144 
net.ipv4.tcp_rmem = 4194304 4194304 4194304

确认内核修改

[root@rac1 ~]# sysctl -p

配置oracle、grid用户的shell限制

[root@red2 ~]# vi /etc/security/limits.conf 

grid soft nproc 2047 
grid hard nproc 16384 
grid soft nofile 1024 
grid hard nofile 65536 
oracle soft nproc 2047 
oracle hard nproc 16384 
oracle soft nofile 1024 
oracle hard nofile 65536

安装所需要的依赖包

binutils-2.20.51.0.2-5.11.el6 (x86_64) 
compat-libcap1-1.10-1 (x86_64) 
compat-libstdc++-33-3.2.3-69.el6 (x86_64) 
compat-libstdc++-33-3.2.3-69.el6.i686 
gcc-4.4.4-13.el6 (x86_64) 
gcc-c++-4.4.4-13.el6 (x86_64) 
glibc-2.12-1.7.el6 (i686) 
glibc-2.12-1.7.el6 (x86_64) 
glibc-devel-2.12-1.7.el6 (x86_64) 
glibc-devel-2.12-1.7.el6.i686 
ksh 
libgcc-4.4.4-13.el6 (i686) 
libgcc-4.4.4-13.el6 (x86_64) 
libstdc++-4.4.4-13.el6 (x86_64) 
libstdc++-4.4.4-13.el6.i686 
libstdc++-devel-4.4.4-13.el6 (x86_64) 
libstdc++-devel-4.4.4-13.el6.i686 
libaio-0.3.107-10.el6 (x86_64) 
libaio-0.3.107-10.el6.i686 
libaio-devel-0.3.107-10.el6 (x86_64) 
libaio-devel-0.3.107-10.el6.i686 
make-3.81-19.el6 
sysstat-9.0.4-11.el6 (x86_64)
--------------------- 

配置grid和oracle用户环境变量

使用grid账户登录

red1节点配置修改

[root@red1 ~]# su - grid
[grid@red1 ~]$ vi .bash_profile

添加

export TMP=/tmp
export TMPDIR=$TMP
export ORACLE_SID=+ASM1     # red1
export ORACLE_BASE=/u01/app/grid
export ORACLE_HOME=/u01/app/11.2.0/grid
export PATH=/usr/sbin:$PATH
export PATH=$ORACLE_HOME/bin:$PATH
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib
export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib

red2节点配置修改

[root@red2 ~]# su - grid
[grid@red2 ~]$ vi .bash_profile

添加

export TMP=/tmp
export TMPDIR=$TMP
export ORACLE_SID=+ASM2  
export ORACLE_BASE=/u01/app/grid
export ORACLE_HOME=/u01/app/11.2.0/grid
export PATH=/usr/sbin:$PATH
export PATH=$ORACLE_HOME/bin:$PATH
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib
export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib

修改完成之后

 source .bash_profile   #使配置生效

使用oracle账户登录

red1节点修改

export TMP=/tmp
export TMPDIR=$TMP
export ORACLE_SID=orcl1  
export ORACLE_UNQNAME=orcl
export ORACLE_BASE=/u01/app/oracle
export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1
export TNS_ADMIN=$ORACLE_HOME/network/admin
export PATH=/usr/sbin:$PATH
export PATH=$ORACLE_HOME/bin:$PATH
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib

red2节点修改

export TMP=/tmp
export TMPDIR=$TMP
export ORACLE_SID=orcl2  
export ORACLE_UNQNAME=orcl
export ORACLE_BASE=/u01/app/oracle
export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1
export TNS_ADMIN=$ORACLE_HOME/network/admin
export PATH=/usr/sbin:$PATH
export PATH=$ORACLE_HOME/bin:$PATH
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib

修改完成之后

source .bash_profile   #使配置生效

检查

[grid@red2 ~]$ id oracle
uid=1000(oracle) gid=501(oinstall) 组=501(oinstall),502(dba),503(oper),506(asmdba)
[grid@red2 ~]$ id grid
uid=1001(grid) gid=501(oinstall) 组=501(oinstall),502(dba),503(oper),504(asmadmin),505(asmoper),506(asmdba)

配置oracle用户ssh互信

需要建立oracle以及grid两个用户下SSH互信协议。具体的操作步骤可以参照：
https://blog.csdn.net/kruie/article/details/93603321

为Grid集群基础软件配置共享存储(使用ASM）

Oracle所允许的存储主要有ASM、NFS和ACFS等，这里使用ASM的配置方式。使用ASM管理存储需要裸盘，前面配置了共享磁盘到两台虚拟机上。配置裸盘的方式主要有两种(1)oracleasm添加(2)用udev 配置其中 udev配置有字符方式绑定以及块方式绑定两种途径。 由于udev方式安装方式本次安装过程中，没有成功，之后使用的ASM配置方式。

安装依赖包

rmp下载地址：https://www.oracle.com/technetwork/server-storage/linux/downloads/rhel5-084877.html
kmod-oracleasm.x86_64 ## 可以通过本地源安装
oracleasm-support.x86_64
oracleasmlib.x86_64
下载的安装包通过xftp上传到linux系统的目录下，使用命令进行安装

yum install oracleasm-support.x86_64
yum install  oracleasmlib.x86_64

格式化硬盘

[root@red2 ~]#  fdisk /dev/sdb
Command (m for help): n
Command action
   e   extended
   p   primary partition (1-4)
p
Partition number (1-4): 1
#  最后 w 命令保存更改   
#依次将sdc sdd盘进行格式化

配置asmlib驱动程序

[root@red1 ~]#  /usr/sbin/oracleasm configure -i
Default user to own the driver interface []: grid
Default group to own the driver interface []: asmadmin
Start Oracle ASM library driver on boot (y/n) [n]: y
Scan for Oracle ASM disks on boot (y/n) [y]: y

[root@red1 ~]#   /etc/init.d/oracleasm createdisk VOL1 /dev/sdb1
[root@red1 ~]#   /etc/init.d/oracleasm createdisk VOL2 /dev/sdc1
[root@red1 ~]#   /etc/init.d/oracleasm createdisk VOL3 /dev/sdd1

#以下操作在节点2上执行
[root@red2 ~]# oracleasm scandisks
Reloading disk partitions: done
Cleaning any stale ASM disks...
Scanning system for ASM disks...
Instantiating disk "VOL3"
Unable to instantiate disk "VOL3"
Instantiating disk "VOL2"
Unable to instantiate disk "VOL2"
Instantiating disk "VOL1"
Unable to instantiate disk "VOL1"

查看磁盘信息

[root@red1 ~]# oracleasm listdisks

以上就是使用sam进行磁盘进行管理，以后有机会在进行UDEV方式进行磁盘管理配置。

Grid Infrastructure安装

将安装包使用xftp上传到grid用户目录下，并进行挤压

unzip linux.x64_11gR2_grid

检查安装环境

配置响应文件

[grid@rac1 response]$ vi /home/grid/grid/grid_install.rsp

oracle.install.responseFileVersion=/oracle/install/rspfmt_crsinstall_response_schema_v11_2_0

# 当前安装节点的计算机名称

ORACLE_HOSTNAME=red1  

# 版本信息路径（路径相关可以不修改）

INVENTORY_LOCATION=/u01/app/oraInventory  

 #语言，多选用,隔开（正常来说保持默认即可）
 
SELECTED_LANGUAGES=en,zh_CN 

oracle.install.option=CRS_CONFIG

 #Grid 的 BASE 和 HOME 目录
 
ORACLE_BASE=/u01/app/grid        

ORACLE_HOME=/u01/app/11.2.0/grid

oracle.install.asm.OSDBA=asmdba

oracle.install.asm.OSOPER=asmoper

oracle.install.asm.OSASM=asmadmin

#scan名称，和hosts对应 

oracle.install.crs.config.gpnp.scanName=rac-scan

#集群监听端口号

oracle.install.crs.config.gpnp.scanPort=1521

# cluster名称，可以保持默认

oracle.install.crs.config.clusterName=cluster

oracle.install.crs.config.gpnp.configureGNS=false

oracle.install.crs.config.gpnp.gnsSubDomain=

oracle.install.crs.config.gpnp.gnsVIPAddress=

oracle.install.crs.config.autoConfigureClusterNodeVIP=false

# 节点信息，跟hosts对应
oracle.install.crs.config.clusterNodes=red1:red1-vip,red2:red2-vip

#网卡信息和网段，对应ifconfig结果（两个节点的网卡名称需要一致）
oracle.install.crs.config.networkInterfaceList=eth0:192.168.211.0:1,eth1:192.168.56.0:2

#存储形式，使用ASM的话保持默认即可
oracle.install.crs.config.storageOption=ASM_STORAGE

oracle.install.crs.config.sharedFileSystemStorage.diskDriveMapping=

oracle.install.crs.config.sharedFileSystemStorage.votingDiskLocations=

oracle.install.crs.config.sharedFileSystemStorage.votingDiskRedundancy=NORMAL

oracle.install.crs.config.sharedFileSystemStorage.ocrLocations=

oracle.install.crs.config.sharedFileSystemStorage.ocrRedundancy=NORMAL

oracle.install.crs.config.useIPMI=false

oracle.install.crs.config.ipmi.bmcUsername=

oracle.install.crs.config.ipmi.bmcPassword=

# SYS密码
oracle.install.asm.SYSASMPassword=Oracle123

#表决盘名称（可以不修改）
oracle.install.asm.diskGroup.name=CRS

#表决盘冗余选项 根据磁盘数量进行选择 
# HIGH			高冗余：最少5块磁盘，Oracle ASM默认提供三重镜像。可以容忍在不同故障组中丢失两个Oracle ASM磁盘。
# NORMAL		正常冗余：最少3块磁盘，Oracle ASM默认提供双向镜像，这意味着镜像所有文件，以便每个范围有两个副本。容许丢失一个磁盘。
# EXTERNAL		外部冗余：最少1块盘，由外部RAID提供冗余。

oracle.install.asm.diskGroup.redundancy=NORMAL

oracle.install.asm.diskGroup.AUSize=1

#表决盘所使用的裸盘，根据需要修改 这里的磁盘是建立ASM的磁盘
oracle.install.asm.diskGroup.disks==/dev/oracleasm/disks/VOL1,/dev/oracleasm/disks/VOL2,/dev/oracleasm/disks/VOL3  

oracle.install.asm.diskGroup.diskDiscoveryString=/dev/*

#ASMSNMP密码
oracle.install.asm.monitorPassword=Oracle123

oracle.install.crs.upgrade.clusterNodes=

oracle.installer.autoupdates.option=SKIP_UPDATES

oracle.installer.autoupdates.downloadUpdatesLoc=

AUTOUPDATES_MYORACLESUPPORT_USERNAME=

AUTOUPDATES_MYORACLESUPPORT_PASSWORD=

PROXY_HOST=

PROXY_PORT=0

PROXY_USER=

PROXY_PWD=

PROXY_REALM=

给响应文件授权

chmod 775 /home/grid/grid/grid_install.rsp

安装Grid

通过响应文件进行安装

./runInstaller -ignorePrereq -silent -force -responseFile /home/grid/grid/grid_install.rsp -showProgress

安装完成之后 分别在两个节点上执行

[root@red1 ~]#  /u01/app/11.2.0/grid/root.sh

创建ASM数据磁盘组的配置缺失，以后有机会再补充吧

查看集群资源

[root@red1 ~]# cd /u01/app/11.2.0/grid/bin
[root@red1 bin]# ./crsctl stat res -t

ORACLE数据库的安装

oracle数据库的安装可以参考https://blog.csdn.net/kruie/article/details/90751638 博文

参考博文:
https://blog.csdn.net/u014595668/article/details/51160783
https://www.cnblogs.com/hmwh/p/8484696.html
https://wenku.baidu.com/view/f2a307ee9b89680203d82546.html