使用pdsh、ClusterSSH和mussh管理集群系统

当我们管理数以十计或者更多的集群系统时，往往需要在每台机器上执行同样的命令，或者拷贝同样的文件，这时，我们就可以考虑使用三个小工具，分别是 pdsh 、 ClusterSSH 和 mussh 。
　　在 Fedora 系统上，我们可以直接通过 yum 安装这三个软件。
yum install clusterssh pdsh pdsh-rcmd-ssh pdsh-rcmd-rsh mussh
如果是其他 Linux 系统，也可以到 http://clusterssh.sourceforge.net  、 http://sourceforge.net/projects/pdsh 和 http://www.sourceforge.net/projects/mussh 下载相应的软件。
　　无论是 clusterssh 还是 pdsh 或 mussh ，我们都应该相应的设置无密码登录目标系统，这方面的内容，有很多介绍，本文不再提及。
一、 pdsh 　　首先介绍一下 pdsh ，首先必须在管理节点和每台目标机器上都安装 pdsh 软件包。 pdsh 可以在指定的一组机器上执行同一个命令。例如需要管理下列机器，机器名分别为 node211,node232,node233,node234,node240 。
命令格式如下 :
pdsh -w [SSH_OR_RSH]:USERNAME@node[211,232-234,240] [COMMAND] 
其中大写的部分应该被实际内容所取代。例如希望以 maluyao 用户的身份，在每台机器上执行 hostname 命令，使用 ssh 方法进行连接，则结果如下 :
[tt@node111 ~]$ pdsh -w ssh:maluyao@node[211,232-234,240] hostname
node240: node240.hn.org
node233: node233.hn.org
node234: node234.hn.org
node232: node232.hn.org
node211: node211.hn.org
这样可以非常清楚的看到每台机器上执行的结果。
另外一些时候，我们可以希望在每台机器上执行一组也许不确定的命令，这时我们可以省略 [COMMAND] 部分 , 用法如下 :
[tt@node111 ~]$ pdsh -w ssh:maluyao@node[211,232-234,240]
pdsh> hostname
node240: node240.hn.org
node234: node234.hn.org
node233: node233.hn.org
node232: node232.hn.org
node211: node211.hn.org
pdsh> date
node234: Mon Oct 27 14:59:37 CST 2008
node240: Mon Oct 27 14:59:37 CST 2008
node232: Mon Oct 27 14:59:37 CST 2008
node233: Mon Oct 27 14:59:37 CST 2008
node211: Mon Oct 27 14:59:38 CST 2008
pdsh> exit
pdsh 软件包还自带了 pdcp 命令，可以将文件拷贝到一组机器上，用法如下 :
pdsh -w [SSH_OR_RSH]:[USERNAME]@node[211,232-234,240] SOURCE_FILE DESTINATION 
想将文件 x.org 拷贝到上述机器的 /home/maluyao/ 当中，可执行下列命令 :
pdcp -w ssh:maluyao@node[211,232-234,240] x.org /home/maluyao/
如果要拷贝的是目录，则需使用 -r 参数，例如将目录 abc 拷贝到 /home/maluyao ，执行命令如下 :
pdcp -r -w ssh:maluyao@node[211,232-234,240] abc /home/maluyao/
二、 ClusterSSH clusterssh 是另外一个集群管理软件，可以同时打开多个窗口进行操作。例如最简单的用法可能如下：
cssh root@node211 root@node232 root@node234 
不过当管理数以十计或数以百计机器的时候，在命令行就很难添加如此众多的机器名了。这时的办法是使用一个配置文件进行管理。首先生成一个配置文件 , 命令为 :
cssh -u > ~/.csshrc
这个 ~/.csshrc 文件里可以定义如干个组，例如在此文件结尾处添加
clusters=ibm hp inspur
ibm=root@node211 root@node232 root@node233 root@node234 root@node240
hp=root@hp211 root@hp232 root@hp233 root@hp234 root@hp240
inspur=root@inspur211 root@inspur232 root@inspur233 root@inspur234 root@inspur240
这样就可以使用 cssh hp  或 cssh ibm 来连接指定的群组了。 clusterssh 的不便之处在于，管理机器越多，则打开的窗口越多，如果屏幕太小，就非常难受了。




三、 mussh mussh 也是 Fedora 系统自带的一款管理多主机的 ssh 软件，和上述两种软件类似，可以互为补充。
mussh 可以让你把本地的脚本，在多台 ssh 目的机器上执行。格式如下
mussh [OPTIONS] <-h host.. | -H hostfile> [-c cmd] [-C scriptfile]
例如想在多个机器上执行 hostname 命令，可以执行如下命令：
[tt@node111 ~]$ mussh -h root@node211 root@node212 -c hostname 
root@node211: node211.hn.org 
root@node212: node212.hn.org
如果想执行本地脚本 test.sh ，可以执行如下命令 :
[tt@node111 ~]$ mussh -h root@node211 root@node212 -C test.sh
另外还可以通过建立 hostfile 的方式，使得命令执行时更为简化，例如在 hostfile01.txt 中写入 :
[email=root@node211]root@node211[/email] [email=root@node212]root@node212[/email]
[tt@node111 ~]$ mussh -H hostfile01.txt -c hostname 
root@node211: node211.hn.org 
root@node212: node212.hn.org
笔者日常负责管理不到两百台 Linux 系统，配合一些监控软件，感觉有上述几个管理工具，基本就足够了。完全没有必要使用商业管理软件。