增加节点至GPFS集群

1、背景概述：

某系统共7个节点（刀片服务器）形成GPFS集群，现新增刀片服务器9片，需要将该9片服务器增加至原系统GPFS集群中。集群包括Gconsole、G01~G06七个节点。新增G07~G15九个节点。

2、环境准备

（1）GPFS节点间互信（ssh无密码互通）

1）更改互信节点的/etc/hosts文件

在原节点中使用cat /etc/hosts查看IP、hostname。增减新增加点的IP，hostname。将补充后的/etc/hosts拷贝至集群的所有节点，包括新增节点。

2）设置密钥

 生成ssh密钥对:ssh-keygen -t rsa 一路回车即可；进入.ssh目录:cd .ssh；生成authorized_keys文件:cp id_dsa.pub authorized_keys ；建立本身的信任连接:ssh G07 输入yes 无需密码。

在G07~G15上各执行一次，将每个节点上的id_dsa.pub 追加到所有节点的authorized_keys，包括原节点。是任意两个节点间均可互通。

3）不同互信协议节点之间的互信实现

本系统实施时，新增节点G07~G15采用RSA互信，GPFS原节点（Gconsole、G01~G06）间采用DSA互信，且无authorized_keys，取代之存在authorized_keys2文件。实现新增节点与GPFS原节点间的互信方法：将GPFS原节点（Gconsole、G01~G06）的每个节点的id_dsa.pub的内容，追加到新增节点的authorized_keys中，形成包含全部节点的id_dsa.pub（原）或id_rsa.pub（新增）内容的authorized_keys文件。将该文件的内容追加给所有新增节点的authorized_keys文件和原节点的authorized_keys2文件中。新增节点与原节点间互信完成。

4）验证互信。ssh互相访问一下。

3、安装JAVA包

安装java包，用于支持GPFS软件（不是每次都必要的，刚好系统配置时没有装个这个包）

//scp and install java package
mkdir software
cd software/
scp root@gconsole:/local/libXp-1.0.0-8.1.el5.i386.rpm /root/software/
chmod +x libXp-1.0.0-8.1.el5.i386.rpm
rpm -ivh libXp-1.0.0-8.1.el5.i386.rpm

cd ../gpfs_install/

4、安装GPFS

// install GPFS

chmod +x gpfs-3.2.1-7.x86_64.update.tar.gz
./gpfs_install-3.2.1-0_x86_64 --silent

//打包
rpm -ivh /usr/lpp/mmfs/3.2/*.rpm
mkdir u12
cd u12
tar xzf ../gpfs-3.2.1-7.x86_64.update.tar.gz
rpm -Uvh *.rpm

//本地化配置
cd /usr/lpp/mmfs/src/config
./configure
export SHARKCLONEROOT=/usr/lpp/mmfs/src
cd ..

//编译GPFS内核
make World
make InstallImages 

4、增加节点至GPFS集群

//add nodes to cluster
mmaddnode -N G07,G08,G09,G10,G11,G12,G13,G14,G15

 

5、检验是否添加成功

mmlscluster

mmgetstate -a