Centos7安装Torque

Centos7安装Torque

实验目的：

在5在centos7的主机上搭建Torque环境。

实验步骤：

0x01硬件条件：

5台centos7主机，IP地址：x.x.x.46~50。机器的名称分别为lk，node1，node2，node3，node4。

实验条件默认使用root账户，有需要切回普通用户的情况我会提到。

0x02材料准备：

Torque安装包，我的是torque-6.1.1.1。

• 如果是首次配置，需要修改/etc/hosts文件，将节点信息加入其中。

vim /etc/hosts
10.113.10.46 lk
10.113.10.47 node1
10.113.10.48 node2
10.113.10.49 node3
10.113.10.50 node4

• 关闭防火墙service iptables stop，此处不停止则无法进行通信。

• 为了方便传输文件，可以设置一个NFS共享文件夹，我的共享文件夹为~/teddy/，注意修改权限为所有用户均可读写执行。

0x03环境搭建：

• 首先解压出来

• 进入目录安装：

  $ ./configure  
  $ make  
  $ make install  
  $ make packages (用来产生在其它机器上安装用的安装包，运行完后会生成几个torque-package-*.sh文件)  

• 安装完成后执行下echo $PATH查看是否有以下2个路径：/usr/local/bin:/usr/local/sbin:,没有的话手动在etc/profile里面添加一下。

• 执行：

  echo '/usr/local/lib' > /etc/ld.so.conf.d/torque.conf  
  ldconfig  

  ​

• 之后初始化一下：./torque.setup xxx 后面接用户名
  

• 之后执行采用如下命令：

  pbs_server   //在服务器节点执行
  pbs_sched   //在服务器节点执行
  pbs_mom  //在计算节点执行
  trqauthd 

• 之后另外Torque也提供了一些脚本，可以使用linux的service来启动停止Torque，方法就是将Torque目录下的下面几个文件复制到/etc/init.d目录下，如下：

  cp contrib/init.d/pbs_server /etc/init.d/  
  cp contrib/init.d/pbs_sched /etc/init.d/  
  cp contrib/init.d/pbs_mom /etc/init.d/  
  cp contrib/init.d/trqauthd /etc/init.d/  

• 然后就可以使用下面命令来启动停止服务了

  /etc/init.d/pbs_server start|stop|status  
  /etc/init.d/pbs_sched start|stop|status  
  /etc/init.d/pbs_mom start|stop|status  
  /etc/init.d/trqauthd start|stop|status  

• 之后启动以上服务，编写一个脚本sleep.sh:

  
  #!/bin/sh  
  
  
  sleep 600 

• 提交作业：（注意使用非root账户）并查看：

  qsub sleep.sh
  qstat -a -n

  ​

• 结果如图所示：

• 假定“单机安装运行PBS （Torque）”中安装的机器作为master，下面来向cluster添加新的nodes。这里假定新加入nodes的机器名是node1和node2。

• 安装新的节点：将生成的几个sh文件分别放到其他2台节点上，

  ./torque-package-mom-*.sh --install  
  ./torque-package-clients-*.sh --install  

  ​

• 之后在服务器上配置：

  • 配置hosts文件：vim etc/hosts

   10.113.10.46 lk
   10.113.10.47 node1
   10.113.10.48 node2
   10.113.10.49 node3
   10.113.10.50 node4

  • 启动服务：

  /etc/init.d/pbs_server start
  /etc/init.d/ pbs_sched start
  /etc/init.d/ pbs_mom start
  /etc/init.d/ trqauthd start

  • 添加节点：

  qmgr -c 'create node node1 np=3'
  qmgr -c 'create node node2 np=3'
  qmgr -c 'create node lk np=3'  

  ​

  • qmgr执行一下指令：

  Qmgr: c q q1
  Qmgr: s q q1 queue_type=execution
  Qmgr: s q q1 enabled=true
  Qmgr: s s default_queue=q1
  Qmgr: s s scheduling=true
  Qmgr: c n lk
  Qmgr: c n node1
  qmgr obj=node1 svr=default: Node name already exists
  Qmgr: c n node2
  qmgr obj=node2 svr=default: Node name already exists
  Qmgr: s q q1 started=true
  Qmgr: q

  如图所示：
  

• 从节点设置：

  • 配置hosts文件：这时只加上自己和主节点即可。

  • 配置文件：vi /var/spool/torque/mom_priv/conf

  $pbsserver      lk            # note: hostname running pbs_server
  $logevent       255               # bitmap of which events to log

  • 启动pbs_mom

  /etc/init.d/pbs_mom start

  • 同时在/var/spool/torque/server_name里加入主节点：lk

• 编写job.pbs:

  
  #!/bin/bash
  
  
  #PBS -N job
  
  
  #PBS -o job.log
  
  
  #PBS -e job.err
  
  
  #PBS -q q1
  
  cd /home/qsb
  echo Running on hosts `lk`
  echo Time is `date`
  echo Directory is $PWD
  echo This job runs on the following nodes:
  cat $PBS_NODEFILE
  echo This job has allocated 1 node
  ./prog

  ​

• 打开prog
  vi prog

• 写入

  
  #!/bin/bash
  
  echo 1000000000 | ./icpi-64

  使用命令提权

  sudo chmod +x prog

• 现在重启下pbs_server:

  如图：
  

• 然后查看下节点的状态：qnodes
  如图：
  

• 然后提交作业：（使用非root权限）

  qsub job.pbs

• 查看stat：qstat

  如图：

  ​