11g R2集群部署

安装环境准备

I.服务器硬盘空间要求
/tmp目录大小至少:1GB
安装Grid Infrastracture所需空间:6.6GB
安装Oracle Database所需空间:4GB
此外安装过程中分析、收集、跟踪文件所需空间:10GB
建议总共至少30GB,放心!(此处不包含ASM或NFS的空间需求)

II.服务器内存要求
11g R2集群部署_第1张图片
内存大小:至少2.5GB
Swap大小:
当内存为2.5GB-16GB时,Swap需要大于等于系统内存。
当内存大于16GB时,Swap等于16GB即可。

共享磁盘 重要!非常重要!请仔细阅读这段话! 用于创建ASM磁盘用的盘,需要通过网络共享到4个计算节点,可以采用iscsi服务的方式把存储节点的磁盘映射到计算节点 本文的教程不涵盖iSCSI教程,也就是说如果你不会映射磁盘到计算节点,那就别往下看了,因为asm磁盘管理方式有high冗余和normal冗余 即使你在搭建的过程不创建存放数据用的asm磁盘组,但是vote仲裁机制必须建立 如果asm采用high冗余那么voting盘最低需要5块磁盘,如果是normal冗余,voting盘最低需要3块磁盘

iscsi配置磁盘映射

搭建iscsi服务

二十一、配置server提供一个iSCSI共享服务
安包
yum -y install targetcli*
分区
fdisk /dev/sda
partprobe /dev/sda
创建iqn
targetcli

cd /backstores/block 
create iscsi_store /dev/sda3

cd /iscsi
create iqn.2014-09.com.example:server

cd /iscsi/iqn.2014-09.com.example:server/tpg1/acls
create iqn.2014-09.com.example:desktop

cd /iscsi/iqn.2014-09.com.example:server/tpg1/luns
create /backstores/block/iscsi_store

cd /iscsi/iqn.2014-09.com.example:server/tpg1/portals
create 172.16.30.130

重启服务
systemctl restart target
systemctl enable target
设置防火墙
firewall-cmd --add-rich-rule 'rule family=ipv4 source address=172.16.30.0/24 port port=3260 protocol=tcp accept' --per
firewall-cmd --rel


二十二、配置desktop使其能连接在server上提供的iSCSI
安装包
yum -y install iscsi-initiator-utils.i686
修改配置文件
vim /etc/iscsi/initiatorname.iscsi
InitiatorName=iqn.2014-09.com.example:desktop
重启服务
systemctl enable iscsid
systemctl restart iscsid
发现节点
iscsiadm -m discovery -t sendtargets -p 172.16.30.130
iscsiadm -m node -T iqn.2014-09.com.example:server -l

配置udev绑定

安装udev设备管理器(rac_udev建立磁盘方式安装grid)
yum install -y udev
查看磁盘串号
-----------------------------------------------------------------------------------------------------------------
for disk in `ls /dev/sd*`
                  do
                    echo $disk
                    /usr/lib/udev/scsi_id --whitelisted --replace-whitespace --device=$disk
                  done   \\回车
-----------------------------------------------------------------------------------------------------------------
 /dev/sda
/dev/sda1
/dev/sda2
/dev/sdb
/dev/sdb1
/dev/sdc
14f504e46494c45527763443337452d557347312d514f3049
/dev/sdd
14f504e46494c4552715837527a472d78444f522d6e6b5774
/dev/sde
14f504e46494c45523045727559352d706674422d43666c59
/dev/sdf
14f504e46494c455262664b78684c2d51796e512d30464179
/dev/sdg
14f504e46494c45526c36533367792d6a6265712d45705648
/dev/sdh
14f504e46494c45524159783651312d4a4554742d4f74776f
在两个 Oracle RAC 节点:
映射关联磁盘
#vim /etc/udev/rules.d/99-oracle-asmdevices.rules
KERNEL=="sd?", ENV{ID_SERIAL}=="14f504e46494c45527763443337452d557347312d514f3049", SYMLINK+="asm_ocr_1_1",  OWNER="grid",  GROUP="asmadmin", MODE="0660"
KERNEL=="sd?", ENV{ID_SERIAL}=="14f504e46494c4552715837527a472d78444f522d6e6b5774", SYMLINK+="asm_ocr_1_2",  OWNER="grid",  GROUP="asmadmin", MODE="0660"
KERNEL=="sd?", ENV{ID_SERIAL}=="14f504e46494c45523045727559352d706674422d43666c59", SYMLINK+="asm_data_1_1",  OWNER="grid",  GROUP="asmadmin", MODE="0660"
KERNEL=="sd?", ENV{ID_SERIAL}=="14f504e46494c455262664b78684c2d51796e512d30464179", SYMLINK+="asm_data_1_2",  OWNER="grid",  GROUP="asmadmin", MODE="0660"
KERNEL=="sd?", ENV{ID_SERIAL}=="14f504e46494c45526c36533367792d6a6265712d45705648", SYMLINK+="asm_fra_1_1",  OWNER="grid",  GROUP="asmadmin", MODE="0660"
KERNEL=="sd?", ENV{ID_SERIAL}=="14f504e46494c45524159783651312d4a4554742d4f74776f", SYMLINK+="asm_fra_1_2",  OWNER="grid",  GROUP="asmadmin", MODE="0660"
加载rules文件(rac_udev建立磁盘方式安装grid)
udevadm control --reload-rules
udevadm trigger
11、查看关联路径情况
#ls -l /dev/asm*
lrwxrwxrwx. 1 root root 3 12月 26 17:30 /dev/asm_data_1_1 -> sdf
lrwxrwxrwx. 1 root root 3 12月 26 17:30 /dev/asm_data_1_2 -> sdg
lrwxrwxrwx. 1 root root 3 12月 26 17:30 /dev/asm_fra_1_1 -> sdh
lrwxrwxrwx. 1 root root 3 12月 26 17:30 /dev/asm_fra_1_2 -> sdi
lrwxrwxrwx. 1 root root 3 12月 26 17:30 /dev/asm_ocr_1_1 -> sdc
lrwxrwxrwx. 1 root root 3 12月 26 17:30 /dev/asm_ocr_1_2 -> sdd
lrwxrwxrwx. 1 root root 3 1月   8 14:00 /dev/asm_ocr_1_3 -> sde

安装相关的开发者工具

#yum -y install glibc \
glibc-devel \
glibc-headers \
libaio \
libaio-devel \
libgcc \
libstdc++ \
libstdc++-devel \
make \
sysstat \
unixODBC \
unixODBC-devel \
pdksh \
compat-libcap1 \
compat-libstdc++-33 \
elfutils-libelf-devel \
gcc \
gcc-c++ \
smartmontools \
pdksh \
compat-libstdc \
cvuqdisk

一个小的报错,因为是redhat7以上的系统才有,如果不做这步,下面还有一个打补丁的方法

1.RHEL 7 安装oracle rac 11.2.0.4执行root.sh报错ohasd failed to start
报错原因:
因为RHEL 7使用systemd而不是initd运行进程和重启进程,而root.sh通过传统的initd运行ohasd进程。
解决方法:
在RHEL 7中ohasd需要被设置为一个服务,在运行脚本root.sh之前。
以root用户创建服务文件

touch /usr/lib/systemd/system/ohas.service
chmod 777 /usr/lib/systemd/system/ohas.service

2.将以下内容添加到新创建的ohas.service文件中

#vim /usr/lib/systemd/system/ohas.service
[Unit]
Description=Oracle High Availability Services
After=syslog.target

[Service]
ExecStart=/etc/init.d/init.ohasd run >/dev/null 2>&1 Type=simple
Restart=always

[Install]
WantedBy=multi-user.target

3.以root用户运行下面的命令

systemctl daemon-reload
systemctl enable ohas.service
systemctl start ohas.service

4.查看运行状态

systemctl status ohas.service

安装步骤

一、创建用户和组

/usr/sbin/groupadd -g 1000 oinstall
/usr/sbin/groupadd -g 1020 asmadmin
/usr/sbin/groupadd -g 1021 asmdba
/usr/sbin/groupadd -g 1022 asmoper
/usr/sbin/groupadd -g 1031 dba
/usr/sbin/groupadd -g 1032 oper
useradd -u 1100 -g oinstall -G asmadmin,asmdba,asmoper,oper,dba grid
useradd -u 1101 -g oinstall -G dba,asmdba,oper oracle

二、创建安装rac的目录

目录要求:

11g R2集群部署_第2张图片
所有节点执行一下命令,创建安装目录和更改目录权限:

mkdir -p /u01/app/oracle/product/11.2.0/db_1
mkdir -p /u01/app/grid
mkdir -p /u01/app/11.2.0/grid
mkdir -p /u01/app/oraInventory
mkdir -p /u01/app/oracle/oraInventory
chown -Rf grid.oinstall /u01/app/grid
chown -Rf grid.oinstall /u01/app/oraInventory
chown -Rf grid.oinstall /u01/app/11.2.0
chown -Rf oracle.oinstall /u01/app/oracle

三、修改内核参数

修改linux内核参数
vim /etc/sysctl.conf

具体参数意义参考官方文档

添加

fs.aio-max-nr = 1048576 
fs.file-max = 6815744 
kernel.shmall = 2097152 
kernel.shmmax = 1073741824 
kernel.shmmni = 4096 
kernel.sem = 250 32000 100 128 
net.ipv4.ip_local_port_range = 9000 65500 
net.core.rmem_default = 262144 
net.core.rmem_max = 4194304 
net.core.wmem_default = 262144 
net.core.wmem_max = 1048586

使修改生效

sysctl -p

四、修改grid和oracle用户下的环境变量:

su - grid
vim .bash_profile

需要修改ORACLE_SID,ORACLE_BASE和ORACLE_HOME

# .bash_profile

# Get the aliases and functions
if [ -f ~/.bashrc ]; then
        . ~/.bashrc
fi

# User specific environment and startup programs

PATH=$PATH:$HOME/bin

export PATH
ORACLE_SID=+ASM1
NLS_LANG=AMERICAN_AMERICA.ZHS16GBK; export NLS_LANG
ORACLE_BASE=/u01/app/grid
ORACLE_HOME=/u01/app/11.2.0/grid
#TNS_ADMIN=$ORACLE_HOME/network/admin
ORA_NLS33=$ORACLE_HOME/ocommon/nls/admin/data
PATH=$PATH:$ORACLE_HOME/bin:$ORACLE_HOME/oracm/bin:$ORACLE_HOME/OPatch:$ORACLE_HOME/jdbc
LD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_HOME/ctx/lib:$ORACLE_HOME/oracm/lib:/usr/lib
CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib:$ORACLE_HOME/network/jlib:$ORACLE_HOME/jdbc/lib
SQLPATH=$ORACLE_HOME/sqlplus/admin:/home/grid/woqu:$ORACLE_HOME/rdbms/admin
#export ORACLE_BASE ORACLE_HOME ORA_NLS33 ORACLE_SID PATH LD_LIBRARY_PATH CLASSPATH TNS_ADMIN SQLPATH
export ORACLE_BASE ORACLE_HOME ORA_NLS33 ORACLE_SID PATH LD_LIBRARY_PATH CLASSPATH SQLPATH
NLS_DATE_FORMAT="yyyy-mm-dd hh24:mi:ss";export NLS_DATE_FORMAT
umask 0022

echo " "
echo " "
echo -e "\e[31;1m****************************************************************\e[0m"
echo -e "\e[31;1m***You login as grid,Please ask somebody to double check!******\e[0m"
echo -e "\e[31;1m****************************************************************\e[0m"
echo " "
echo " "


export PS1='\e[31;1m${LOGNAME}@${HOSTNAME}:${PWD}>\e[0m'

alias sql='rlwrap sqlplus "/"'
alias rsql='rlwrap sqlplus'
alias sqln="rlwrap sqlplus /nolog"
alias dba='rlwrap sqlplus "/as sysasm"'
alias ohome="cd $ORACLE_HOME"

alias rm='rm -i --'
alias cp='cp -i'
alias mv='mv -i --'

#11G
alias bdump='cd $ORACLE_BASE/diag/asm/+asm/$ORACLE_SID/trace/'
alias udump="cd $ORACLE_BASE/diag/asm/+asm/$ORACLE_SID/trace/"
alias cdump="cd $ORACLE_BASE/diag/asm/+asm/$ORACLE_SID/trace/"
alias otail="tail -f $ORACLE_BASE/diag/asm/+asm/$ORACLE_SID/trace/alert_$ORACLE_SID.log"
alias vlog='tail -200 $ORACLE_BASE/diag/asm/+asm/$ORACLE_SID/trace/alert_$ORACLE_SID.log'
alias myasm='cd $ORACLE_BASE/diag/asm/+asm/$ORACLE_SID/trace'
alias bdump='cd $ORACLE_BASE/diag/asm/+asm/$ORACLE_SID/trace'
alias clog='cd $ORACLE_HOME/log/`hostname`'

修改完毕,刷新环境变量

source .bash_profile

修改oracle用户的环境变量

su - oracle
vim .bash_profile

需要修改ORACLE_SID,ORACLE_BASE和ORACLE_HOME

# .bash_profile

# Get the aliases and functions
if [ -f ~/.bashrc ]; then
        . ~/.bashrc
fi

# User specific environment and startup programs
PATH=$PATH:$HOME/bin
export PATH

ORACLE_SID=rac1
NLS_LANG=AMERICAN_AMERICA.ZHS16GBK; export NLS_LANG
ORACLE_BASE=/u01/app/oracle
ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1
TNS_ADMIN=$ORACLE_HOME/network/admin
ORA_NLS33=$ORACLE_HOME/ocommon/nls/admin/data
PATH=$PATH:$ORACLE_HOME/bin:$ORACLE_HOME/oracm/bin:$ORACLE_HOME/OPatch:$ORACLE_HOME/jdbc
LD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_HOME/ctx/lib:$ORACLE_HOME/oracm/lib:/usr/lib
CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib:$ORACLE_HOME/network/jlib:$ORACLE_HOME/jdbc/lib
SQLPATH=$ORACLE_HOME/sqlplus/admin:$ORACLE_HOME/rdbms/admin:/home/oracle/woqu
export ORACLE_BASE ORACLE_HOME ORA_NLS33 ORACLE_SID PATH LD_LIBRARY_PATH CLASSPATH TNS_ADMIN SQLPATH
NLS_DATE_FORMAT="yyyy-mm-dd hh24:mi:ss";export NLS_DATE_FORMAT
umask 0022

echo " "
echo " "
echo -e "\e[31;1m****************************************************************\e[0m"
echo -e "\e[31;1m***You login as oracle,Please ask somebody to double check!******\e[0m"
echo -e "\e[31;1m****************************************************************\e[0m"
echo " "
echo " "

export PS1='\e[31;1m${LOGNAME}@${HOSTNAME}:${PWD}>\e[0m'

alias sql='rlwrap sqlplus "/"'
alias sqln="rlwrap sqlplus / nolog"
alias dba='rlwrap sqlplus / as sysdba'
alias rman='rlwrap rman target /'
alias ohome="cd $ORACLE_HOME"

alias rm='rm -i --'
alias cp='cp -i'
alias mv='mv -i --'

#11G

alias bdump="cd $ORACLE_BASE/diag/rdbms/${ORACLE_SID:0:$((${#ORACLE_SID}-1))}/$ORACLE_SID/trace"
alias udump="cd $ORACLE_BASE/diag/rdbms/${ORACLE_SID:0:$((${#ORACLE_SID}-1))}/$ORACLE_SID/trace"
alias cdump="cd $ORACLE_BASE/diag/rdbms/${ORACLE_SID:0:$((${#ORACLE_SID}-1))}/$ORACLE_SID/trace"
alias otail="tail -f $ORACLE_BASE/diag/rdbms/${ORACLE_SID:0:$((${#ORACLE_SID}-1))}/$ORACLE_SID/trace/alert_$ORACLE_SID.log"
alias vlog='tail -200 $ORACLE_BASE/diag/rdbms/${ORACLE_SID:0:$((${#ORACLE_SID}-1))}/$ORACLE_SID/trace/alert_$ORACLE_SID.log'

刷新环境变量:

source .bash_profile

如果调出来的图形化乱码,请在.bash_profile中加一行export LANG=en_US.UTF-8

五、修改/etc/hosts文件

如果有DNS服务解析,就配置DNS,如果没有就用/etc/hosts解析,在所有计算节点配置/etc/hosts

vim /etc/hosts

20.76.56.129  gsyxadm1
20.76.56.130  gsyxadm2
20.76.56.131  gsyxadm3
20.76.56.132  gsyxadm4

172.16.130.79  gsyxadm1-priv1
172.16.131.79  gsyxadm1-priv2
172.16.130.81  gsyxadm2-priv1
172.16.131.81  gsyxadm2-priv2
172.16.130.83  gsyxadm3-priv1
172.16.131.83  gsyxadm3-priv2
172.16.130.85  gsyxadm4-priv1
172.16.130.85  gsyxadm4-priv2

20.76.56.133  gsyxadm1-vip
20.76.56.134  gsyxadm2-vip
20.76.56.135  gsyxadm3-vip
20.76.56.136  gsyxadm4-vip

20.76.56.137  gsyxadm-scan

六、关闭ntp时间同步功能

 /bin/systemctl stop ntpd
 systemctl disable ntpd.service
 mv /etc/ntp.conf /etc/ntp.conf.original
还要删除以下文件(如果有的话):
 rm /var/run/ntpd.pid

然后将四个节点的时间同步为一致,误差不能超过2分钟

date -s "23:31"

七、安装grid

解压grid的安装包,安装包链接:链接:https://share.weiyun.com/5ghiMty 密码:521215

su - grid
unzip p13390677_112040_Linux-x86-64_3of7.zip 
cd grid
export DISPLAY=20.76.58.215:0.0
./runInstaller

如果调出来的图形化是乱码,请在.bash_profile中加一行export LANG=en_US.UTF-8
选择跳过升级
11g R2集群部署_第3张图片
选择安装类型为集群:
11g R2集群部署_第4张图片
选择高级安装
11g R2集群部署_第5张图片
选择语言,直接跳过:
11g R2集群部署_第6张图片
修改scan的名字:
11g R2集群部署_第7张图片
填写4个节点的vip的名字:
11g R2集群部署_第8张图片
效果如下:
11g R2集群部署_第9张图片
配置ssh互信连接,点这里:
11g R2集群部署_第10张图片
填写grid用户和密码,然后点击setup:
11g R2集群部署_第11张图片
11g R2集群部署_第12张图片
互信设置成功:
11g R2集群部署_第13张图片
点击test,测试下:
11g R2集群部署_第14张图片
11g R2集群部署_第15张图片
ssh互信测试通过,点ok,下一步(如果失败,检查密码):
11g R2集群部署_第16张图片
11g R2集群部署_第17张图片
修改以下内容,将修改public ip(主机ip)所用到的ip地址和网卡:
11g R2集群部署_第18张图片
修改private ip(心跳网络)所用到的网卡和ip:
11g R2集群部署_第19张图片
点击下一步,选择由ASM磁盘管理
11g R2集群部署_第20张图片
只先创建一个vote磁盘组,用来仲裁,冗余类型根据需求选择,size根据需求场景选择,默认也可以:
11g R2集群部署_第21张图片

点击改变磁盘路径,修改为你iscsi磁盘映射的位置(也就是你磁盘所在的路径):
11g R2集群部署_第22张图片
11g R2集群部署_第23张图片
high冗余需要5块磁盘组成ocrvote组,选5块voting盘:
11g R2集群部署_第24张图片
填写密码,oracle
11g R2集群部署_第25张图片
提示密码过于简单,点击yes:
11g R2集群部署_第26张图片
选择忽略
11g R2集群部署_第27张图片
11g R2集群部署_第28张图片
11g R2集群部署_第29张图片
11g R2集群部署_第30张图片
检查安装环境:
11g R2集群部署_第31张图片
忽略警告,如果是faild就需要解决:
11g R2集群部署_第32张图片
确认忽略警告,点ok:
11g R2集群部署_第33张图片
安装grid进程截图:
11g R2集群部署_第34张图片
弹出来下面的框的时候,先不要着急在4个节点上跑脚本,需要先打个补丁:
11g R2集群部署_第35张图片
7以下的linux,例如6版本的Linux系统,请忽略下面的psu步骤
7.4的linux需要先在4个计算节点打补丁,不要同时进行,挨个来
补丁包(两个都要下载p688那个是打psu的软件,p183那个是psu)
1>链接:https://share.weiyun.com/5g2JsdC 密码:521215
2>链接:https://share.weiyun.com/5Lyna0L 密码:521215

cp /root/qdata/psu/p6880880_112000_Linux-x86-64.zip /tmp
cp /root/qdata/psu/p18370031_112040_Linux-x86-64.zip /tmp

mv /u01/app/11.2.0/grid/OPatch /u01/app/11.2.0/grid/OPatch.bak

unzip /tmp/p6880880_112000_Linux-x86-64.zip -d /u01/app/11.2.0/grid/


chown -R grid:oinstall /u01/app/11.2.0/grid/OPatch 
/u01/app/11.2.0/grid/OPatch/opatch version

unzip /tmp/p18370031_112040_Linux-x86-64.zip -d /tmp/
su - grid
cd /tmp/18370031
/u01/app/11.2.0/grid/OPatch/opatch apply 

遇到yes|no的选y
遇到默认直接回车


然后,然后,然后的然后
逐个在4个节点执行root.sh(root用户下)
复制脚本到4个节点:
11g R2集群部署_第36张图片

在4个节点分别执行完第一个脚本后,复制第二个脚本,依次在4个节点执行,不可以同时4个节点进行:
11g R2集群部署_第37张图片

会报错,点击ok:
11g R2集群部署_第38张图片
发现有两处是failed的,如果是我下面截图上的两种failed那就没有关系,点击next,完成grid的安装,如果是其他错误,到了这步,看看还能挽救不,直接点下一步,看运气。
11g R2集群部署_第39张图片

八、安装oracle软件

安装包链接(两个包都要下载):
1>链接:https://share.weiyun.com/5MzipNQ 密码:521215
2>链接:https://share.weiyun.com/5QlULH3 密码:521215

su - oracle
unzip p13390677_112040_Linux-x86-64_1of7.zip 
unzip p13390677_112040_Linux-x86-64_2of7.zip 
cd database/
export DISPLAY=20.76.58.215:0.0
./runInstaller 

11g R2集群部署_第40张图片
跳过升级,下一步:
11g R2集群部署_第41张图片
选择仅安装oracle软件,然后下一步:
11g R2集群部署_第42张图片
建立oracle ssh互信:
11g R2集群部署_第43张图片

11g R2集群部署_第44张图片
之后点击test测试一下:
11g R2集群部署_第45张图片
然后下一步,默认语言,直接下一步
然后选择enterprise企业版
11g R2集群部署_第46张图片
选择安装位置,点击下一步:
11g R2集群部署_第47张图片
保持默认,点击下一步:
11g R2集群部署_第48张图片
正在安装:
11g R2集群部署_第49张图片
如果出现我下面截图一样的警告,那就直接忽略下面的错误,然后点击下一步,不会有任何错误:
11g R2集群部署_第50张图片
点击install,开始安装oracle软件:
11g R2集群部署_第51张图片
没错,然后又跳出来了一个报错,如果是下图所示的错误,请点继续,忽略,不会有任何错误,有兴趣的自己百度原因,但是我同事DBA告诉我,这个报错没有关系。。。。。
11g R2集群部署_第52张图片
ok,进程快完了。。。
11g R2集群部署_第53张图片

复制下面的脚本,分别依次在4个节点上执行:
11g R2集群部署_第54张图片
11g R2集群部署_第55张图片
点击ok,安装完成:
11g R2集群部署_第56张图片

你可能感兴趣的:(11g R2集群部署)