Linux下轻量级的集群管理利器ClusterShell

最近在进行大数据学习，集群中系统环境的配置，Hadoop和Spark的各种配置文件分发搞得我心力憔悴。最终，还是选择了一款轻量级的集群管理软件。

ClusterShell集群管理利器

1 优点

它的优点很多，我最看重的有三点：

• 安装简单。在CentOS 7下一条命令搞定。

• 配置简单。我们只需要配置管理服务器可以通过SSH免密登录其他客户端。

• 使用方便。ClusterShell指令只有简单的2~3条，其他就像在本地操作一样。

2 安装

我们说了ClusterShell的安装很简单，就一条指令：

sudo yum install clustershell

3 配置

ClusterShell的配置文件都位于/etc/clustershell中。我只配置了groups文件，为了方便，直接编辑/etc/clustershell/groups.d/下的local.cfg文件：

sudo vi /etc/clustershell/groups.d/local.cfg

设置了一个群组hadoop：

 hadoop: master secondary slave[1-3]
 all: master secondary slave[1-3]

简单说明一下：

• master： 我的hadoop master NameNode主机

• secondary： 我的hadoop secondary NameNode机器

• slave1~3： 数据节点3个

4 命令行介绍

ClusterShell是通过一条命令行clush来完成操作的。我们只需要记住以下几个参数就可以了：

1. -b : 相同输出结果合并
2. -w : 指定节点
3. -a : 所有节点
4. -g : 指定组
5. --copy : 群发文件

4.1 查看节点系统配置信息

比如我想看看所有节点下的HADOOP_HOME变量是否设置正确，这样做就可以了：

clush -a echo $HADOOP_HOME

显示节点信息

还可以将输出信息合并，看起来更一目了然些：

clush -b -a echo $HADOOP_HOME

合并显示更一目了然

4.2 分发文件

比如我们修改了Hadoop的配置文件，想将它分发到各个节点：

clush -g hadoop --copy /opt/hadoop/etc/hadoop/hdfs-site.xml

怎么样？是不是很简单，用起来会让我们的集群管理轻松了许多。