2018-11-16

西湖大学超算中心使用

西湖大学超算平台的管理节点（任务提交）为：

172.16.10.253 端口号：9527

上传与下载节点为：

172.16.10.101 端口号：9527

172.16.10.102 端口号：9527

172.16.10.103 端口号：9527

• 超算系统采用SSH方式等登录，不支持Telnet和WEB等方式登录，默认编码为英文UTF-8（en_US.UTF-8），用户需使用支持SSH协议的客户端进行登录。

• 超算系统仅限校内IP登录.

• 超算用户在计算成果产生后的相关论文等中有义务致谢说明：

中文：“本论文的数值计算得到了西湖大学信息技术中心的计算支持和帮助”。

英文：“The numerical calculations in this paper have been done on the supercomputing system in the Information Technology Center of Westlake University”

01-Secure Shell (SSH)

ssh是远程的加密连接协议，可以用来登陆服务器，进行提交作业，上传下载文件等操作。相关工具有Xshell，FinalShell，Putty，Terminals等。我会基于Xshell工具向大家展示相应的操作。

下载地址：

https://xshell.en.softonic.com/

安装好后界面如下：

输入你的地址与账号密码：

进入命令行界面：

你所有的操作都可以通过输入命令的形式实现。

02-常用命令

• 01- ls 命令

List 的缩写，通过 ls 命令不仅可以查看 linux 文件夹包含的文件，而且可以查看文件权限(包括目录、文件夹、文件权限)查看目录信息等等。

实例：

$ ls

$ ls -a

$ ls -l

$ ls -l t*

• 02 - cd 命令

ChangeDirectory 的缩写，切换当前目录至 dirname。

实例：

$ cd /

$ cd ~

$ cd -

• 03 - pwd 命令

Print working directory 的缩写，查看当前工作目录路径。

实例：

$ pwd

$ pwd -P

• 04 - mkdir 命令

Make Directory 的缩写，创建文件夹。

实例：

$ mkdir abc

$ mkdir -p /aaa/bbb/ccc/ddd

• 05 - rm 命令

Remove 的缩写，删除文件或目录。

实例：

$ rm -rf *

$ rm abc.txt

$ rm -r aaa

• 06 - rmdir 命令

Remove Directory 的缩写， 从一个目录中删除一个或多个子目录项，删除某目录时也必须具有对其父目录的写权限。

实例：

$ rmdir -p aaa/bbb/ccc

• 07 - mv 命令

Move 的缩写，移动文件或修改文件名，根据第二参数类型（如目录，则移动文件；如为文件则重命令该文件）。

实例：

$ mv abc.log abc1.txt #将文件abc.log重命名为abc1.txt

$ mv -i log1.txt log2.txt

• 08 - cp 命令

Copy 的缩写，将源文件复制至目标文件，或将多个源文件复制至目标目录。

实例：

$ cp -ai a.txt test

• 09 - df 命令

Disk free 的缩写，用于显示目前在Linux系统上的文件系统的磁盘使用情况统计。

实例：

$ df -l

• 10 - du 命令

Disk use 的缩写，对文件和目录磁盘使用的空间的查看。

实例：

$ du -h

• 11 - top 命令

显示当前系统正在执行的进程的相关信息，包括进程ID、内存占用率、CPU占用率等。（Q键可以退出）

实例：

$ top

• 12 - kill 命令

强制结束进程，使用ps命令或者jobs 命令可以查看进程号。

实例：

$ kill -9 (ps -ef | grep pro1)

03-文件上传与下载

这里我使用的是Xshell里面带的文件传输功能（需要安装Xftp软件）

Xftp下载地址：

https://dl.pconline.com.cn/download/61110.html

上传和下载文件可以直接在图形界面上拖拽即可。

04 - 提交任务

我们使用PBS(Portable Batch System)，来分配计算机集群。

PBS(Portable Batch System)最初由NASA的Ames研究中心开发，主要为了提供一个能满足异构计算网络需要的软件包，用于灵活的批处理，特别是满足高性能计算的需要，如集群系统、超级计算机和大规模并行系统。PBS的主要特点有：代码开放，免费获取；支持批处理、交互式作业和串行、多种并行作业，如MPI、PVM、HPF、MPL；PBS是功能最为齐全, 历史最悠久, 支持最广泛的本地集群调度器之一。 PBS的目前包括openPBS, PBS Pro和Torque三个主要分支. 其中OpenPBS是最早的PBS系统, 目前已经没有太多后续开发,PBS pro是PBS的商业版本, 功能最为丰富. Torque是Clustering公司接过了OpenPBS, 并给与后续支持的一个开源版本.

利用好下面的三个步骤就可以简单进行单线程计算了。

实例：

• 01 - 上传你的代码

• 02 - 保存下面的代码以 .sh后缀的文件（例：test.sh），并于上面你的代码放在一个目录下

#$ -S /bin/sh

#$ -cwd

#$ -o /backup/home/wangliang/joblogs ## 换成自己的目录

#$ -e /backup/home/wangliang/joblogs ##换成自己的目录

#$ -j y

#$ -N py-try ## 自己可读的命名

#$ -q normal.q

#$ -pe mpi 1-1 ## 计算机核数，我的代码并没有并行运算，所以核数为1

export PYTHONHOME=/usr/local/Python3.6.1 # python3.6的根目录

export PATH=$PYTHONHOME/bin:$ PATH  # 路径加入

export LD_LIBRARY_PATH=$PYTHONHOME/lib:$ LD_LIBRARY_PATH 

$ python3 00-try.py ## 运行代码

• 03 - 在终端输入命令进行操作

$ qsub test.sh

$ qdeltest.sh

$ qstat

$ quota

结语

我也只是个小白，如果以前没有提交服务器的经验，有可能有点帮助，对于大神，只是班门弄斧，希望能帮助到大家。

好像matlab, Python3等还没有实装，只好自己安装在自己目录下了！

后续的并行等我搞清楚python并行再说。