明白要做的事情有多少(一定要看),
总体图
整体的分图如下:
插入一个我们经常烦恼头疼的图片
废话不说,开始正文
RAC基础设施部署方案
一、前期准备或规划:
1、IP地址和VLAN划分
一套RAC服务需要有两台物理机主机,每台物理主机各有一个内网远程访问地址、心跳地址、或scan IP地址,两台物理主机共同拥有的VIP地址,共计5个或7个IP地址。如下
访问远程IP地址:每台各一个;如172.17.1.2 内网地址。
心跳探测IP地址:每台各一个;如10.10.10.2 只在主机内部使用。
负载VIP地址:两台主机共同使用一个;如172.17.1.200 内网地址
或scanIP地址:每台各一个;如172.17.1.100。用于扫描服务和心跳地址相互协同。(可以不用)
以上IP地址中访问远程地址和负载vip地址为一个网段,一个vlan。心跳地址单独一个vlan,一个网段。
2、阵列共享存储
用于RAC的两台物理主机共享一个存储资源,该存储资源需要有故障转移的磁盘,故障转移磁盘至少有3个,或5个,大小一般在5G左右,不存放数据。这样看来一般的RAC服务有以下LUN存储资源。
故障转移或多事务处理的LUN必须有3-5块,大小为5G左右磁盘。
存放数据的LUN,一般根据业务量来决定,有1T、10T、20T等。
例子:
网络配置(例)
服务器主机名 |
Yfkrzdb1 |
Yfkrzdb2 |
公共IP地址(bond0) |
172.19.2.1 |
172.19.2.2 |
虚拟IP地址(bond0) |
172.19.2.101 |
172.19.2.102 |
私有IP地址(bond1) |
10.10.10.1 |
10.10.10.2 |
ORACLE RAC SID |
rac1 |
rac2 |
集群实例名称 |
rac-cluster |
|
SCAN IP(bond0) |
rac-scan: 172.19.2.225 |
|
操作系统 |
Linux |
|
Oracle |
11.2.0.3.0 |
存储配置(例):
大小(GB) |
Mount点 |
文件系统类型 |
文件系统名 |
存放内容说明 |
1 |
/cluster_ocr1 |
文件系统 |
/cluster_ocr1 |
Cluster OCR |
1 |
/cluster_ocr2 |
文件系统 |
/cluster_ocr2 |
Cluster OCR |
1 |
/cluster_ocr3 |
文件系统 |
/cluster_ocr3 |
Cluster OCR |
1 |
/cluster_vote1 |
文件系统 |
/cluster_vote1 |
Cluster voting |
1 |
/cluster_vote2 |
文件系统 |
/cluster_vote2 |
Cluster voting |
1 |
/cluster_vote3 |
文件系统 |
/cluster_vote3 |
Cluster voting |
1000 |
/oracle |
文件系统 |
/oracle |
Oracle数据库 |
800 |
/arch |
文件系统 |
/arch |
Oracle归档日志 |
具体大小应按实际需要配置。
3、网络拓扑图如下(两台物理主机—整体结构)
4、单台物理主机需求情况
单台物理机要求:
a、主机规格:(待填、内存一定要大。两台主机一致)
两台主机的配置一致,每台主机的都有两块300G磁盘做物理raid1+0后安装系统。(系统可用空间约为285G)
b、主机物理网卡配置:每台主机上分别有两张网卡,每张网卡分别有4个接口,现网中有每张网卡有两条网线分别连接到不同的交换机上。网卡采用千兆口与交换机的千兆口相连。如下图
c、主机HBA配置:HBA是连接存储的接口,使用FC-SAN方式连接。每台主机有两个HBA卡,每张卡上有两个接口,现网中每张卡连接一条FC跳线到光纤交换机。如下图
二、系统部署:
2.1、系统类型为:RedHat Enterprise Linux 6.4 64bit。(自定义)
2.2、系统安装语言:US
2.3、系统分区要求:分为三个分区: boot分区—ext4格式—大小500M,剩下的空间大小全部采用LVM分区要求,如下
LVM中分区有swap分区—大小为128000M,剩下全部为根(/)分区—ext4—大小约为157000M。
2.4、系统安装包:系统安装中会制定选择:【开发环境】选项。
2.5、安全设置:iptables和selinux全部默认开机启动中关闭。
2.6、远程访问:开启系统中自带sshd服务。
2.7、其他配置:yum配置—光盘包拷贝到/RHEL目录下,使用本地YUM环境,缺少的包需客户自行安装,不符合的包也需要客户自行处理。
三、单台物理机网络配置
根据需求提供下业务IP地址---内网IP ,如果是RAC应用需要指定心跳地址.
3.1、网络端口划分:按照1.2图中所示分别在两台交换机上配置相应的VLAN和端口模式,主要有两个VLAN:内网和心跳,内网VLAN按照客户IP配置划分,两个VLAN不可混用。
3.2、网卡绑定:在系统中指定bond0和bond1,特别主要注意的是网卡的区分和bond模式的选择。参照网址http://chier11.blog.51cto.com/4922641/1314396
3.3、网络地址配置:内网IP地址按照指定的ip地址配置,用于远程访问和业务传输使用。心跳IP地址需要根据具体情况指定为其他网段地址,特别需要注意的是不能配置心跳网关。
192.168.40.134-K6K7交换机配置信息:
交换机端口 |
VlanID |
服务器网卡 |
G1/0/0/7 |
1805 |
ETH0 |
G1/0/0/23 |
518 |
ETH5 |
G2/0/0/7 |
518 |
ETH1 |
G2/0/0/23 |
1805 |
ETH7 |
该例子中分别有两台网络交换机K6和K7,两台交换机采用堆叠方式连接,所以登录后能看到两台交换机端口信息,如G/1/0/0/7是第一台交换机端口,G2/0/0/7是第二个交换机端口。其中vlan:1805是远程访问的网段,vlan518是心跳网段。
3.4、验证:
a、长ping业务IP地址,看网络状态是否稳定、延迟是否在可接受范围内。
b、长ping中,ifdown掉内网VLAN中bonb绑定的其中一个网卡,观察网络状态。之后再ifup该网卡,并down掉另一张网卡,继续观察网络状态。
c、心跳网卡同样按照上述要求验证。
d、在整个过程中观察bond的MAC地址变化情况。
例子截图如下:主要看MAC地址和bond绑定的网卡分布,正如1.2图中所示
bond的查看情况:
bond的配置情况:
四、两台物理机的存储配置
如果部署RAC服务,需要注意LUN大小和数量、以及类型。RAC有个做转移磁盘需要3-5块小LUN(大小5G左右),存放数据的磁盘按照业务需要自己决定。
4.1、存储zone划分:按照1.3图中所示分别在不同的光纤交换机上划分zone。
4.2、存储阵列划分:在相应的存储上添加对应类型的存储,并按照相应的规则命名。
4.3、多路径软件安装:根据存储品牌在系统安装相应的多路径存储软件。并查看状态和路径是否和现实的路径条数和活动状态相符合。
4.4、验证:同一块LUN分别在两台主机上的盘符一致。例子截图如下(比对下LUN的ID和盘符是否在两台主机一致)
单台主机的上LUN的情况,以华为存储为例,该主机也安装了华为的多路径软件。