明白要做的事情有多少(一定要看),

总体图

RAC基础设施部署方案_第1张图片

整体的分图如下: 

RAC基础设施部署方案_第2张图片

RAC基础设施部署方案_第3张图片

RAC基础设施部署方案_第4张图片

RAC基础设施部署方案_第5张图片

RAC基础设施部署方案_第6张图片

RAC基础设施部署方案_第7张图片

插入一个我们经常烦恼头疼的图片

RAC基础设施部署方案_第8张图片

 

废话不说,开始正文

RAC基础设施部署方案

一、前期准备或规划:

1IP地址和VLAN划分

一套RAC服务需要有两台物理机主机,每台物理主机各有一个内网远程访问地址、心跳地址、或scan IP地址,两台物理主机共同拥有的VIP地址,共计5个或7IP地址。如下

      访问远程IP地址:每台各一个;如172.17.1.2 内网地址。

           心跳探测IP地址:每台各一个;如10.10.10.2 只在主机内部使用。

           负载VIP地址:两台主机共同使用一个;如172.17.1.200 内网地址

         scanIP地址:每台各一个;如172.17.1.100。用于扫描服务和心跳地址相互协同。(可以不用)

         以上IP地址中访问远程地址和负载vip地址为一个网段,一个vlan。心跳地址单独一个vlan,一个网段。

2、阵列共享存储

用于RAC的两台物理主机共享一个存储资源,该存储资源需要有故障转移的磁盘,故障转移磁盘至少有3个,或5个,大小一般在5G左右,不存放数据。这样看来一般的RAC服务有以下LUN存储资源。

      故障转移或多事务处理的LUN必须有3-5块,大小为5G左右磁盘。

           存放数据的LUN,一般根据业务量来决定,有1T10T20T等。

  

例子: 

网络配置(例)

服务器主机名

Yfkrzdb1

Yfkrzdb2

公共IP地址(bond0

172.19.2.1

172.19.2.2

虚拟IP地址(bond0

172.19.2.101

172.19.2.102

私有IP地址(bond1

10.10.10.1

10.10.10.2

ORACLE RAC SID

rac1

rac2

集群实例名称

rac-cluster

SCAN IPbond0

rac-scan: 172.19.2.225

操作系统

Linux

Oracle

11.2.0.3.0

存储配置(例):

大小(GB)

Mount

文件系统类型

文件系统名

存放内容说明

1

/cluster_ocr1

文件系统

/cluster_ocr1

Cluster OCR

1

/cluster_ocr2

文件系统

/cluster_ocr2

Cluster OCR

1

/cluster_ocr3

文件系统

/cluster_ocr3

Cluster OCR

1

/cluster_vote1

文件系统

/cluster_vote1

Cluster voting

1

/cluster_vote2

文件系统

/cluster_vote2

Cluster voting

1

/cluster_vote3

文件系统

/cluster_vote3

Cluster voting

1000

/oracle

文件系统

/oracle

Oracle数据库

800

/arch

文件系统

/arch

Oracle归档日志

具体大小应按实际需要配置。

 

3、网络拓扑图如下(两台物理主机整体结构)

RAC基础设施部署方案_第9张图片

4、单台物理主机需求情况

单台物理机要求:

a、主机规格:(待填、内存一定要大。两台主机一致)

两台主机的配置一致,每台主机的都有两块300G磁盘做物理raid1+0后安装系统。(系统可用空间约为285G

b、主机物理网卡配置:每台主机上分别有两张网卡,每张网卡分别有4个接口,现网中有每张网卡有两条网线分别连接到不同的交换机上。网卡采用千兆口与交换机的千兆口相连。如下图

RAC基础设施部署方案_第10张图片

 

c、主机HBA配置:HBA是连接存储的接口,使用FC-SAN方式连接。每台主机有两个HBA卡,每张卡上有两个接口,现网中每张卡连接一条FC跳线到光纤交换机。如下图

RAC基础设施部署方案_第11张图片

 

二、系统部署:

2.1、系统类型为:RedHat Enterprise Linux 6.4 64bit。(自定义)

2.2、系统安装语言:US

2.3、系统分区要求:分为三个分区: boot分区—ext4格式大小500M,剩下的空间大小全部采用LVM分区要求,如下

RAC基础设施部署方案_第12张图片

 

LVM中分区有swap分区大小为128000M,剩下全部为根(/)分区—ext4—大小约为157000M

RAC基础设施部署方案_第13张图片

 

2.4、系统安装包:系统安装中会制定选择:【开发环境】选项。

2.5、安全设置:iptablesselinux全部默认开机启动中关闭。

2.6、远程访问:开启系统中自带sshd服务。

2.7、其他配置:yum配置光盘包拷贝到/RHEL目录下,使用本地YUM环境,缺少的包需客户自行安装,不符合的包也需要客户自行处理。

三、单台物理机网络配置

根据需求提供下业务IP地址---内网IP ,如果是RAC应用需要指定心跳地址.

3.1、网络端口划分:按照1.2图中所示分别在两台交换机上配置相应的VLAN和端口模式,主要有两个VLAN:内网和心跳,内网VLAN按照客户IP配置划分,两个VLAN不可混用。

3.2、网卡绑定:在系统中指定bond0bond1,特别主要注意的是网卡的区分和bond模式的选择。参照网址http://chier11.blog.51cto.com/4922641/1314396

3.3、网络地址配置:内网IP地址按照指定的ip地址配置,用于远程访问和业务传输使用。心跳IP地址需要根据具体情况指定为其他网段地址,特别需要注意的是不能配置心跳网关。

 

192.168.40.134-K6K7交换机配置信息:

交换机端口

VlanID

服务器网卡

G1/0/0/7

1805

ETH0

G1/0/0/23

518

ETH5

G2/0/0/7

518

ETH1

G2/0/0/23

1805

ETH7

该例子中分别有两台网络交换机K6K7,两台交换机采用堆叠方式连接,所以登录后能看到两台交换机端口信息,如G/1/0/0/7是第一台交换机端口,G2/0/0/7是第二个交换机端口。其中vlan:1805是远程访问的网段,vlan518是心跳网段。

3.4、验证:

a、长ping业务IP地址,看网络状态是否稳定、延迟是否在可接受范围内。

b、长ping中,ifdown掉内网VLANbonb绑定的其中一个网卡,观察网络状态。之后再ifup该网卡,并down掉另一张网卡,继续观察网络状态。

c、心跳网卡同样按照上述要求验证。

d、在整个过程中观察bondMAC地址变化情况

例子截图如下:主要看MAC地址和bond绑定的网卡分布,正如1.2图中所示

RAC基础设施部署方案_第14张图片

bond的查看情况:

RAC基础设施部署方案_第15张图片

bond的配置情况:

RAC基础设施部署方案_第16张图片

四、两台物理机的存储配置

如果部署RAC服务,需要注意LUN大小和数量、以及类型。RAC有个做转移磁盘需要3-5块小LUN(大小5G左右),存放数据的磁盘按照业务需要自己决定。

4.1、存储zone划分:按照1.3图中所示分别在不同的光纤交换机上划分zone

4.2、存储阵列划分:在相应的存储上添加对应类型的存储,并按照相应的规则命名。

4.3、多路径软件安装:根据存储品牌在系统安装相应的多路径存储软件。并查看状态和路径是否和现实的路径条数和活动状态相符合。

4.4、验证:同一块LUN分别在两台主机上的盘符一致。例子截图如下(比对下LUN的ID和盘符是否在两台主机一致

RAC基础设施部署方案_第17张图片

单台主机的上LUN的情况,以华为存储为例,该主机也安装了华为的多路径软件。

RAC基础设施部署方案_第18张图片