RHCS 集群安装部署

一 集群：

1 集群：

是指一组相互独立的计算机，利用高速通信网络组成的一个较大的计算机服务系统，每个集群节点都是运行各自服务的独立服务器，这些服务器之间可以彼此通信，协同向用户提供应用程序，系统资源和数据，并以单一系统的模式加以管理。

2 集群优点：

1 高性能
2 价格有效性
3 可伸缩性
4 高可用
5 透明性
6 可管理
7 可编程

3 RHCS 集群组成

1 集群架构管理器
这是RHCS 集群的一个基础套件，提供您一个集群的基本功能，使各个节点组成的集群在一起工作，具体包含分布式集群管理器（CMAN），成员关系管理、锁管理（DLM）配置文件管理（CCS）、栅设备（FENCE）
2 高可用服务管理器
提供节点服务监控和服务故障转移，当一个节点服务出现故障时，将服务转移到另一个健康的节点上。
3 集群配置管理工具
通过LUCI 来管理和配置RHCS集群，LUCI是一个基于web的集群配置方式，通过luci可以轻松的搭建一个功能强大的集群系统，节点主机可以使用ricci来和luci 管理段进行通信
4 Linuxvirtualserver
LVS 是一个开源的负载均衡软件，利用LVS 可以将客户端的请求根据指定的负载策略和算法合理分配到各个节点，实现动态、智能的负载分担。
5 RedhatGS（globalfilesystem）
GFS 是Redhat公司开发的一款集群文件系统，目前最新的版本是GFS2，GFS文件系统允许多个服务同时读写一个磁盘分区，通过GFS可以实现数据的集中管理，免去了数据同步和拷贝的麻烦，但GFS不能独立存在，需要RHCS的底层组件支持
6 clusterlogicalvolumemanger
CLuster 逻辑卷管理，及CLVM，是LVM的扩展，这种允许cluster 中的机器使用LVM来管理共享存储
7 ISCSI
是一种在Internet协议上，特别是以太网上进行数据传输的标准，他是一种基于IPstorage理论的新型存储技术，RHCS可以通过ISCSI技术来导出和分配共享存储的使用。

4 RHCS集群运行原理及功能介绍

1 分布式集群管理器（CMAN）

它运行在各个节点上，为RHCS提供集群管理任务
CMAN 用于管理集群成员、消息和通知。他通过监控每个节点的运行状态来了解节点成员之间的关系，当节点出现故障时，CMAN及时将这种改变通知底层，进而做出相应的调整

2 锁管理（DLM）

表示一个分布式锁管理器，他是RHCS的一个底层基础构建，同时也为集群提供了一个公用的锁运行机制，在RHCS中，DLM运行在集群的每个节点上，GFS通过锁管理机制来同步访问数据系统元数据，CLVM通过锁管理其来同步更新数据到LVM卷和逻辑卷， DLM 不需要设定锁骨哪里服务器，它采用对等的锁管理方式，大大提高了处理性能，同时,DLM避免了当单个节点失败需要整体恢复的性能瓶颈，另外，DLM的请求都是本地的，不需要网络请求，因而请求会立即生效，最后，DLM通过分层机制，可以实现多个锁空间的并行管理模式

3 配置文件管理（CCS）

　　ClusterConfigurationSystem，简称CCS，主要用于集群配置文件管理和配置文件在节点之间的同步。有时候，luci管理界面可能由于网络等方面的以素并不是那么畅快，CCS就显得很必要了。CCS运行在集群的每个节点上，监控每个集群节点上的单一配置文件/etc/cluster/cluster.conf的状态，当这个文件发生任何变化时，
都将此变化更新到集群中的每个节点，时刻保持每个节点的配置文件同步。例如，管理员在节点A上更新了集群配置文件，CCS发现A节点的配置文件发生变化后，马上将此变化传播到其它节点上去。rhcs的配置文件是cluster.conf，它是一个xml文件，具体包含集群名称、集群节点信息、集群资源和服务信息、fence设备等

4、栅设备（FENCE）

FENCE设备是RHCS集群中必不可少的一个组成部分，通过FENCE设备可以避免因出现不可预知的情况而造成的“脑裂”现象，FENCE设备的出现，就是为了解决类似这些问题，Fence设备主要就是通过服务器或存储本身的硬件管理接口，或者外部电源管理设备，来对服务器或存储直接发出硬件管理指令，将服务器重启或关机，或者与网络断开连接。
FENCE的工作原理是：当意外原因导致主机异常或者宕机时，备机会首先调用FENCE设备，然后通过FENCE设备将异常主机重启或者从网络隔离，当FENCE操作成功执行后，返回信息给备机，备机在接到FENCE成功的信息后，开始接管主机的服务和资源。这样通过FENCE设备，将异常节点占据的资源进行了释放，保证了资源和服务始终运行在一个节点上。
RHCS的FENCE设备可以分为两种：内部FENCE和外部FENCE，常用的内部FENCE有IBMRSAII卡，HP的iLO卡，还有IPMI的设备等，外部fence设备有UPS、SANSWITCH、NETWORKSWITCH等

5、高可用服务管理器（rgmanager）

高可用性服务管理主要用来监督、启动和停止集群的应用、服务和资源。
它提供了一种对集群服务的管理能力，当一个节点的服务失败时，
高可用性集群服务管理进程可以将服务从这个失败节点转移到其它健康节点上来，并且这种服务转移能力是自动、透明的。
RHCS通过rgmanager来管理集群服务，rgmanager运行在每个集群节点上，在服务器上对应的进程为clurgmgrd。
在一个RHCS集群中，高可用性服务包含集群服务和集群资源两个方面，集群服务其实就是应用服务，例如apache、mysql等，集群资源有很多种，例如一个IP地址、一个运行脚本、ext3/GFS文件系统等。
在RHCS集群中，高可用性服务是和一个失败转移域结合在一起的，所谓失败转移域是一个运行特定服务的集群节点的集合。在失败转移域中，可以给每个节点设置相应的优先级，通过优先级的高低来决定节点失败时服务转移的先后顺序，如果没有给节点指定优先级，那么集群高可用服务将在任意节点间转移。因此，通过创建失败转移域不但可以设定服务在节点间转移的顺序，而且可以限制某个服务仅在失
败转移域指定的节点内进行切换。　　

6、集群配置管理工具（luci和ricci）

Conga是一种新的基于网络的集群配置工具，Conga是通过web方式来配置和管理集群节点的。Conga有两部分组成，分别是luci和ricci，luci安装在一台独立的计算机上，用于配置和管理集群，ricci安装在每个集群节点上，Luci通过ricci和集群中的每个节点进行通信。　　
RHCS也提供了一些功能强大的集群命令行管理工具，常用的有clustat、cman_tool、ccs_tool、fence_tool、clusvcadm等，这些命令的用法将在下面讲述。　　

7、RedhatGFS

GFS是RHCS为集群系统提供的一个存储解决方案，它允许集群多个节点在块级别上共享存储，每个节点通过共享一个存储空间，保证了访问数据的一致性，更切实的说，GFS是RHCS提供的一个集群文件系统，多个节点同时挂载一个文件系统分区，而文件系统数据不受破坏，这是单一的文件系统不能实现的。
为了实现多个节点对于一个文件系统同时读写操作，GFS使用锁管理器来管理I/O操作，当一个写进程操作一个文件时，这个文件就被锁定，此时不允许其它进程进行读写操作直到这个写进程正常完成才释放锁，有当锁被释放后，其它读写进程才能对这个文件进行操作，另外，当一个节点在GFS文件系统上修改数据后，这种修改操作会通过RHCS底层通信机制立即在其它节点上可见。　　
在搭建RHCS集群时，GFS一般作为共享存储，运行在每个节点上，并且可以通过RHCS管理工具对GFS进行配置和管理。这些需要说明的是RHCS和GFS之间的关系，一般初学者很容易混淆这个概念：运行RHCS，GFS不是必须的，只有在需要共享存储时，才需要GFS支持，而搭建GFS集群文件系统，必须要有RHCS的底层支持，所以安装GFS文件系统的节点，必须安装RHCS组件。

二 实验环境：

两台NGINX服务器负责前端调度，集群服务器被搭建在前面两态服务器上
两台HTTPd服务器负责提供web界面

1 基本环境说明：

设备名称	功能描述	设备IP地址
server1	nginx 负载均衡器 RHCS集群子节点	192.168.122.149
server4	NGINX负载均衡器 RHCS集群子节点	192.168.122.58
server2	web 服务	192.168.122.177
server3	web 服务	192.168.122.85

2 NGINX 环境准备

1 安装软件

1 下载并解压软件

2 去除修改gcc产生的文件，以减少NGINX的文件大小

、

3 去除NGINX版本号，以防止**

4 指定其安装位置及安装的模块

5 编译并安装

6 查看文件大小

7 创建连接文件

8 启动及查看

9 其默认发布目录位置

10 备份主配置文件

2 基本优化

一般优化项：

1 优化NGINX运行用户，其默认使用nobody

创建nginx 用户和组

修改配置

重启服务

查看其启动情况：

2 优化进程数

默认的NGINX多个进程有可能跑在一个CPU上，导致NGINX进程使用硬件的资源不均，因此需要针对一个CPU配置一个进程

3 配置最大链接数

Woker_connections 的值要根据具体服务器性能和程序的内存使用量来指定（一个进程启动使用的是内存根据程序确定），如下Events 核定NGINX的工作模式以及链接数上限。
服务端修改：

配置文件修改


查看

3 配置负载均衡

1 查看后端服务IP地址

2 修改配置文件

此处的IP应该对应后面集群的VIP地址：

3 重启服务：

server 1 配置文件复制到server4 中；



创建软连接，以便于启动服务：

修改配置和server1 相同：





配置地址解析并测试：

三 ：集群软件安装

1 集群管理软件ricci 和 luci 的安装与启动

1 ricci 安装

2 设置管理软件的密码

3 启动节点管理工具

4 设置开机自启动

5 安装配置管理工具luci

6 启动服务并配置开机自启动

四 集群节点的添加

1 使用web界面进行登录，并添加其信任，

其用户名和密码分别是root和节点server1 root对应的密码，

2 创建集群节点资源

：并添加节点，其名称是对应的uname -n 对应的主机名，密码是在ricci 安装完成后设置的密码


集群节点创建中：

集群节点创建完成：

3 查看集群节点状态 clustat

四 向集群中添加NGINX服务：

1 创建NGINX启动脚本：

2 添加执行权限并进行测试：

3 将其发送到另一个节点上并进行测试：

4 添加nginx服务资源

1 添加服务资源名并配置相关优先级：

5 添加虚拟VIP地址并配置子网掩码。

6 添加NGINX启动脚本：

7 添加组，将其上面的VIP和NGINX绑定到同一个组中，使用VIP来当做NGINX 监听的IP地址，及客户端访问使用的IP地址。

添加成功：

8 进行测试：

五 集群重启之后使服务运行步骤

六 fence 安装

1 在真机上安装而不是在调度器或后端server 上

2 生成密钥：

此处的网络接口必须与server1和server4在同一个网段的端口，负责不能起到防止脑裂的作用，因为如果不在同一个网段，网络则不通、

3 发送器密钥到集群节点上，使其与监控端的通信使用密文传输。

4 添加fence 资源：

选择使用组播方式进行数据传输，因为上述在生成密文的时候默认是使用组播的方式传输信息的。

5 添加个服务的子资源

6 通过UUID的方式绑定资源，其UUID是不可变的，因此使用UUID最为合适，

7 测试结果，看其在一个节点突然down机后是否能够立即重新启动

7 添加共享磁盘资源运行mysql服务：

1 服务端server2 分配磁盘资源

2 查看资源是否添加成功：

3 服务端安装scsi 软件，并配置其标识符：

4 客户端安装iscsi 软件以共享磁盘资源

5 发现服务端资源并查看：

6 磁盘分区，

注意此时的磁盘只需要进行一次分区即可，因为其是同一块磁盘：

7 磁盘格式化

8 挂载

9 查看：

10 卸载：

11 安装mysql服务并将其挂载到共享磁盘上：

1 安装mysql

两边都安装服务单只需要一边启动服务，因为通过启动服务获取的配置文件将被移动到共享资源中，两边的服务的目录都将挂载共享资源，及启动配置文件：

2 将启动文件复制到共享资源/dev/sda1中

必须-rp -r表示复制目录-p 表示复制权限。

3 授予目录mysql 用户和用户组的权限，否则mysql用户将不能访问此共享目录

4 启动mysql服务并测试，开启看其是否成功，测试完成后需关闭，因为不同节点的mysql服务不能同时读取同一个mysql配置文件。

5 另一节点挂载并启动服务，而后关闭服务并卸载，因为集群在启动服务时会自动挂载，因此如果此时挂载可能会出现错误：

12 将共享mysql磁盘写入到集群中：

1 添加模块

2 添加虚拟VIP，

可以使用上述的VIP，也可以分开，建议分开使用。

3 添加挂载文件，

其格式是ext4 文件系统，因为上述格式化时使用的是ext4文件系统

4 添加mysql启动脚本。

5 添加组名并设置优先级：优先级高的服务将默认在其上面运行。

添加组，将VIP 、磁盘挂载、脚本启动进行绑定，其顺序不能混杂，因为其顺序是启动的顺序。

6 创建成功并启动成功：

7 mysql进行启动测试：

8 设置远程链接权限

9 进行远程链接，其IP地址是第二次添加的VIP地址。

13 测试

1 关闭server4 端mysql

此时server1端mysql服务启动

2 进行远程登录测试

3 查看集群状态

8 配置LVS针对mysql共享的拉伸

1 创建LVM

1 关闭原有服务

2 iscsi 共享服务缺点

其不能完成并发的数据库服务访问及两边的读写不同步：

3 关闭原有的服务：

4 挂载共享服务并将mysql的配置文件和数据进行备份：

5 移除对磁盘的挂载，采用本地挂载的方式进行磁盘的挂载操作

6 使用LVM进行对磁盘的操作，此处的锁类型必须是3，否则会报错。数据将不能通过锁机制进行通信。

7 此时的文件系统格式是8e，不能是默认格式，使用t 进行修改成8e

8 进行查看其划分的磁盘空间为4GB

9 必须在server4 端看到相应的修改，否则不能进行下一步。以下相同。

10 创建逻辑卷：

11 格式化磁盘，其盘名必须有集群的名称。

12 挂载并验证其同步性

2 扩展LVM

1 创建分区，此时的文件系统类型也应该是8e

2 另一个节点上必须看到相同变化，否则不能进行下一步。

3 拉伸磁盘容量：

4 设置开机自动挂载：两个节点都要设置：

5 将备份的数据库启动数据放入共享目录中，以便都可以进行读取

6 启动mysql数据库并进行查看：

7 远程登录数据库：

8 节点的关闭与启动

9 集群的删除：

1 关闭集群资源

2 分离集群节点

节点上进行查看：

3 关闭集群节点上的自启动服务。

4 删除集群两边的配置文件

5 关闭开机自动挂载：

6 查看是否卸载

7 关闭集群设备