11.md

#西湖大学超算中心使用

西湖大学超算平台的管理节点(任务提交)为:

>172.16.10.253 端口号:9527

上传与下载节点为:

>172.16.10.101 端口号:9527

>172.16.10.102 端口号:9527

>172.16.10.103 端口号:9527

* 超算系统采用SSH方式等登录,不支持Telnet和WEB等方式登录,默认编码为英文UTF-8(en_US.UTF-8),用户需使用支持SSH协议的客户端进行登录。

* 超算系统仅限校内IP登录.

* 超算用户在计算成果产生后的相关论文等中有义务致谢说明:

>中文:“本论文的数值计算得到了西湖大学信息技术中心的计算支持和帮助”。

>英文:“The numerical calculations in this paper have been done on the supercomputing system in the Information Technology Center of Westlake University”

## 01-Secure Shell (SSH)

ssh是远程的加密连接协议,可以用来登陆服务器,进行提交作业,上传下载文件等操作。相关工具有Xshell,FinalShell,Putty,Terminals等。我会基于Xshell工具向大家展示相应的操作。

下载地址:

>https://xshell.en.softonic.com/

安装好后界面如下:

输入你的地址与账号密码:

进入命令行界面:

你所有的操作都可以通过输入命令的形式实现。

## 02-常用命令

* 01- ls 命令

List 的缩写,通过 ls 命令不仅可以查看 linux 文件夹包含的文件,而且可以查看文件权限(包括目录、文件夹、文件权限)查看目录信息等等。

实例:

> $  ls 

>$  ls -a

> $  ls -l      

> $  ls -l t*      

* 02 - cd 命令

ChangeDirectory 的缩写,切换当前目录至 dirname。

实例:

> $  cd / 

> $  cd ~ 

> $  cd - 

* 03 - pwd 命令

Print working directory 的缩写,查看当前工作目录路径。

实例:

> $  pwd 

> $  pwd -P 

* 04 - mkdir 命令

Make Directory  的缩写,创建文件夹。

实例:

> $  mkdir abc 

> $  mkdir -p /aaa/bbb/ccc/ddd 

* 05 - rm 命令

Remove 的缩写,删除文件或目录。

实例:

> $  rm -rf * 

> $  rm abc.txt 

> $ rm -r aaa 

* 06 - rmdir 命令

Remove Directory 的缩写, 从一个目录中删除一个或多个子目录项,删除某目录时也必须具有对其父目录的写权限。

实例:

> $  rmdir -p aaa/bbb/ccc 

* 07 - mv 命令

Move 的缩写,移动文件或修改文件名,根据第二参数类型(如目录,则移动文件;如为文件则重命令该文件)。  

实例:

> $  mv abc.log abc1.txt #将文件abc.log重命名为abc1.txt

> $  mv -i log1.txt log2.txt 

* 08 - cp 命令

Copy 的缩写,将源文件复制至目标文件,或将多个源文件复制至目标目录。

实例:

> $  cp -ai a.txt test 

* 09 - df 命令

Disk free 的缩写,用于显示目前在Linux系统上的文件系统的磁盘使用情况统计。

实例:

> $  df -l 

* 10 - du 命令

Disk use 的缩写,对文件和目录磁盘使用的空间的查看。

实例:

> $  du -h 

* 11 - top 命令

显示当前系统正在执行的进程的相关信息,包括进程ID、内存占用率、CPU占用率等。(Q键可以退出)

实例:

> $  top 

* 12 - kill 命令

强制结束进程,使用ps命令或者jobs 命令可以查看进程号。

实例:

> $  kill -9 (ps -ef | grep pro1) 

##03-文件上传与下载

这里我使用的是Xshell里面带的文件传输功能(需要安装Xftp软件)

Xftp下载地址:

>https://dl.pconline.com.cn/download/61110.html

上传和下载文件可以直接在图形界面上拖拽即可。

##04 - 提交任务

我们使用PBS(Portable Batch System),来分配计算机集群。

>PBS(Portable Batch System)最初由NASA的Ames研究中心开发,主要为了提供一个能满足异构计算网络需要的软件包,用于灵活的批处理,特别是满足高性能计算的需要,如集群系统、超级计算机和大规模并行系统。PBS的主要特点有:代码开放,免费获取;支持批处理、交互式作业和串行、多种并行作业,如MPI、PVM、HPF、MPL;PBS是功能最为齐全, 历史最悠久, 支持最广泛的本地集群调度器之一。 PBS的目前包括openPBS, PBS Pro和Torque三个主要分支. 其中OpenPBS是最早的PBS系统, 目前已经没有太多后续开发,PBS pro是PBS的商业版本, 功能最为丰富. Torque是Clustering公司接过了OpenPBS, 并给与后续支持的一个开源版本.

利用好下面的三个步骤就可以简单进行单线程计算了。

实例:

* 01 - 上传你的代码

* 02 - 保存下面的代码以 .sh后缀的文件(例:test.sh),并于上面你的代码放在一个目录下

```

#$ -S /bin/sh

#$ -cwd

#$ -o /backup/home/wangliang/joblogs ## 换成自己的目录

#$ -e /backup/home/wangliang/joblogs ##换成自己的目录

#$ -j y

#$ -N py-try ## 自己可读的命名

#$ -q normal.q

#$ -pe mpi 1-1 ## 计算机核数,我的代码并没有并行运算,所以核数为1

export PYTHONHOME=/usr/local/Python3.6.1 # python3.6的根目录

export PATH=$PYTHONHOME/bin:$ PATH  # 路径加入

export LD_LIBRARY_PATH=$PYTHONHOME/lib:$ LD_LIBRARY_PATH 

$ python3 00-try.py ## 运行代码

```

* 03 - 在终端输入命令进行操作

$ qsub test.sh 

$ qdeltest.sh  

$ qstat  

$ quota  

## 结语

我也只是个小白,如果以前没有提交服务器的经验,有可能有点帮助,对于大神,只是班门弄斧,希望能帮助到大家。

好像matlab, Python3等还没有实装,只好自己安装在自己目录下了!

>后续的并行等我搞清楚python并行再说。

你可能感兴趣的:(11.md)