使用SLURM运行Hic-Pro

由于最近工作失误，错误运行了两次Hic-Pro，由于其中Bowtie2的运行相当耗时，耽误了大量的时间，于是决定安装一个SLURM集群系统，并行运行Hic-Pro，来减少工作时间。下面对其中遇到的问题进行总结，记录各个流程中遇到的问题。

安装SLURM

安装流程主要参照网上和师兄的教程，SLURM最常遇到的问题就是解决同步问题：Munge的时间同步和多机器之间的UID同步。
1、添加用户jfh
# user add jfh
然后添加sudo权限

# chmod -v u+w /etc/sudoers
# yum install vim git -y
# vim /etc/sudoers

模仿root用户的权限控制加入jfh ALL=(ALL) ALL
然后恢复sudoers文件的权限 # chmod -v u-w /etc/sudoers
然后使用用户jfh进行操作 su jfh

2、安装munge（用于机器间的通信）
这次安装还是使用yum install munge munge-devel进行安装的，安装过程中没遇到什么问题。以往都是使用编译安装包安装，下载编译安装包：
安装依赖 # yum install -y rpm-build rpmdevtools bzip2-devel openssl-devel zlib-devel
然后下载好编译安装包后，运行：

# rpmbuild -tb --clean munge-0.5.11.tar.bz2
# cd /root/rpmbuild/RPMS/x86_64
# rpm --install munge*.rpm

创建文件夹并修改所有者，这些文件夹大都已经创建，可以确认一下，

# mkdir /etc/munge
# mkdir /var/run/munge
# mkdir /var/lib/munge
# mkdir /var/log/munge
# chown jfh:jfh /etc/munge
# chown jfh:jfh /var/run/munge
# chown jfh:jfh /var/lib/munge
# chown jfh:jfh /var/log/munge

使用create-munge-key创建密钥并修改所有者# chown jfh:jfh /etc/munge/munge.key
这个密钥要拷贝到其它机器上，各机器上的秘钥要同步。
通过ssh-copy-id实现各机器之间的免密登录，另外，一定要设置各机器之间的时间同步。
检测munge使用如下命令

munge -n
munge -n | unmunge
munge -n | ssh 10.12 unmunge

3.安装Slurm
下载编译安装包，安装依赖 # yum install -y readline-devel pam-devel perl-DBI perl-ExtUtils-MakeMaker
之后编译安装

# rpmbuild -ta --clean slurm-15.08.13.tar.bz2
# cd /root/rpmbuild/RPMS/x86_64
# rpm --install slurm*.rpm

修改Slurm配置文件

# cp /etc/slurm/slurm.conf.example /etc/slurm.conf
# vim /etc/slurm/slurm.conf

参考配置：

#
# Example slurm.conf file. Please run configurator.html
# (in doc/html) to build a configuration file customized
# for your environment.
#
#
# slurm.conf file generated by configurator.html.
#
# See the slurm.conf man page for more information.
#
ClusterName=SlurmXia
ControlMachine=dell-r730-1
ControlAddr=10.0.0.11
#BackupController=
#BackupAddr=
#
SlurmUser=jfh
#SlurmdUser=root
SlurmctldPort=6817
SlurmdPort=6818
AuthType=auth/munge
#JobCredentialPrivateKey=
#JobCredentialPublicCertificate=
StateSaveLocation=/var/spool/slurm/ctld
SlurmdSpoolDir=/var/spool/slurm/d
SwitchType=switch/none
MpiDefault=none
SlurmctldPidFile=/var/run/slurmctld.pid
SlurmdPidFile=/var/run/slurmd.pid
ProctrackType=proctrack/pgid
#PluginDir=
#FirstJobId=
ReturnToService=0
#MaxJobCount=
#PlugStackConfig=
#PropagatePrioProcess=
#PropagateResourceLimits=
#PropagateResourceLimitsExcept=
#Prolog=
#Epilog=
#SrunProlog=
#SrunEpilog=
#TaskProlog=
#TaskEpilog=
#TaskPlugin=
#TrackWCKey=no
#TreeWidth=50
#TmpFS=
#UsePAM=
# TIMERS
SlurmctldTimeout=300
SlurmdTimeout=300
InactiveLimit=0
MinJobAge=300
KillWait=30
Waittime=0
#
# SCHEDULING
SchedulerType=sched/backfill
#SchedulerAuth=
#SelectType=select/linear
FastSchedule=1
#PriorityType=priority/multifactor
#PriorityDecayHalfLife=14-0
#PriorityUsageResetPeriod=14-0
#PriorityWeightFairshare=100000
#PriorityWeightAge=1000
#PriorityWeightPartition=10000
#PriorityWeightJobSize=1000
#PriorityMaxAge=1-0
#
# LOGGING
SlurmctldDebug=3
SlurmctldLogFile=/var/log/slurmctld.log
SlurmdDebug=3
SlurmdLogFile=/var/log/slurmd.log
JobCompType=jobcomp/none
#JobCompLoc=
#
# ACCOUNTING
JobAcctGatherType=jobacct_gather/linux
JobAcctGatherFrequency=30
#
AccountingStorageType=accounting_storage/filetxt
AccountingStorageHost=dell-r730-1
AccountingStorageLoc=/opt/slurm/acct
AccountingStoragePass=elwg324
AccountingStorageUser=root
#
# COMPUTE NODES
NodeName=dell-r730-1 NodeAddr=10.0.0.11 CPUs=64 RealMemory=378000 State=UNKNOWN
NodeName=dell-r730-2 NodeAddr=10.0.0.12 CPUs=64 RealMemory=378000 State=UNKNOWN
NodeName=dell-r730-3 NodeAddr=10.0.0.13 CPUs=64 RealMemory=252000 State=UNKNOWN
PartitionName=control Nodes=dell-r730-1 Default=NO MaxTime=INFINITE State=UP
PartitionName=compute Nodes=dell-r730-[1-3] Default=YES MaxTime=INFINITE State=UP

这里面需要注意的就是更改主机名和各台机器的配置，另外需要打开ACCOUNTING中的日志采集，设置日志存储为'filetxt'并创建/opt/slurm/acct这个文件，这样之后才可以用sacct查看任务。
运行时控制节点运行

systemctl enable slurmctld
systemctl start slurmctld
systemctl enable slurmd
systemctl start slurmd

计算节点运行以下即可

systemctl enable slurmd
systemctl start slurmd

4、查错排除问题
使用sinfo查看各机器是否启动成功，如果出现问题就查看日志文件

/var/log/slurmctld.log
/var/log/slurmd.log

5、SLURM常见命令

sinfo  ##查看各机器状态
scancel ##取消（删除）任务
squeue ##查看队列中的任务
sacct ##查看日志文件
sbatch ##提交batch脚本

在此次安装中，出现的问题是uid在各台机器之间不一致，需要更改为一个共同的uid，我顺带修改了一个gid，虽然过程十分的繁琐，但也很无奈～。
修改之后出现之前用户不存在了，也就无法取消其已经提交的任务，任务处于CG状态，这时候运行下列命令重新启动SLURM

scontrol update nodename=dell-r730-[1-3] state=down reason=hang
scontrol update nodename=dell-r730-[1-3] state=resume

安装HiC-Pro并运行

使用SLURM运行HiC-Pro的主要注意点是

1、各机器之间的numpy和scipy包的版本要完全一致
2、需要将FASTAQ文件切割为多个，HiC-Pro提供了组件供我们切割序列文件
3、在正常的运行后面加上`-p`参数即可，然后运行生成目录下的两个`sbatch`脚本(需要修改一下其中的内存和时间配置)

参考链接

http://liujiayi771.github.io/2017/07/21/slurm分布式调度系统搭建/
https://blog.csdn.net/amaowolf/article/details/8488132
https://slurm.schedmd.com/
https://nservant.github.io/HiC-Pro/