#西湖大学超算中心使用
西湖大学超算平台的管理节点(任务提交)为:
>172.16.10.253 端口号:9527
上传与下载节点为:
>172.16.10.101 端口号:9527
>172.16.10.102 端口号:9527
>172.16.10.103 端口号:9527
* 超算系统采用SSH方式等登录,不支持Telnet和WEB等方式登录,默认编码为英文UTF-8(en_US.UTF-8),用户需使用支持SSH协议的客户端进行登录。
* 超算系统仅限校内IP登录.
* 超算用户在计算成果产生后的相关论文等中有义务致谢说明:
>中文:“本论文的数值计算得到了西湖大学信息技术中心的计算支持和帮助”。
>英文:“The numerical calculations in this paper have been done on the supercomputing system in the Information Technology Center of Westlake University”
## 01-Secure Shell (SSH)
ssh是远程的加密连接协议,可以用来登陆服务器,进行提交作业,上传下载文件等操作。相关工具有Xshell,FinalShell,Putty,Terminals等。我会基于Xshell工具向大家展示相应的操作。
下载地址:
>https://xshell.en.softonic.com/
安装好后界面如下:
输入你的地址与账号密码:
进入命令行界面:
你所有的操作都可以通过输入命令的形式实现。
## 02-常用命令
* 01- ls 命令
List 的缩写,通过 ls 命令不仅可以查看 linux 文件夹包含的文件,而且可以查看文件权限(包括目录、文件夹、文件权限)查看目录信息等等。
实例:
> $ ls
>$ ls -a
> $ ls -l
> $ ls -l t*
* 02 - cd 命令
ChangeDirectory 的缩写,切换当前目录至 dirname。
实例:
> $ cd /
> $ cd ~
> $ cd -
* 03 - pwd 命令
Print working directory 的缩写,查看当前工作目录路径。
实例:
> $ pwd
> $ pwd -P
* 04 - mkdir 命令
Make Directory 的缩写,创建文件夹。
实例:
> $ mkdir abc
> $ mkdir -p /aaa/bbb/ccc/ddd
* 05 - rm 命令
Remove 的缩写,删除文件或目录。
实例:
> $ rm -rf *
> $ rm abc.txt
> $ rm -r aaa
* 06 - rmdir 命令
Remove Directory 的缩写, 从一个目录中删除一个或多个子目录项,删除某目录时也必须具有对其父目录的写权限。
实例:
> $ rmdir -p aaa/bbb/ccc
* 07 - mv 命令
Move 的缩写,移动文件或修改文件名,根据第二参数类型(如目录,则移动文件;如为文件则重命令该文件)。
实例:
> $ mv abc.log abc1.txt #将文件abc.log重命名为abc1.txt
> $ mv -i log1.txt log2.txt
* 08 - cp 命令
Copy 的缩写,将源文件复制至目标文件,或将多个源文件复制至目标目录。
实例:
> $ cp -ai a.txt test
* 09 - df 命令
Disk free 的缩写,用于显示目前在Linux系统上的文件系统的磁盘使用情况统计。
实例:
> $ df -l
* 10 - du 命令
Disk use 的缩写,对文件和目录磁盘使用的空间的查看。
实例:
> $ du -h
* 11 - top 命令
显示当前系统正在执行的进程的相关信息,包括进程ID、内存占用率、CPU占用率等。(Q键可以退出)
实例:
> $ top
* 12 - kill 命令
强制结束进程,使用ps命令或者jobs 命令可以查看进程号。
实例:
> $ kill -9 (ps -ef | grep pro1)
##03-文件上传与下载
这里我使用的是Xshell里面带的文件传输功能(需要安装Xftp软件)
Xftp下载地址:
>https://dl.pconline.com.cn/download/61110.html
上传和下载文件可以直接在图形界面上拖拽即可。
##04 - 提交任务
我们使用PBS(Portable Batch System),来分配计算机集群。
>PBS(Portable Batch System)最初由NASA的Ames研究中心开发,主要为了提供一个能满足异构计算网络需要的软件包,用于灵活的批处理,特别是满足高性能计算的需要,如集群系统、超级计算机和大规模并行系统。PBS的主要特点有:代码开放,免费获取;支持批处理、交互式作业和串行、多种并行作业,如MPI、PVM、HPF、MPL;PBS是功能最为齐全, 历史最悠久, 支持最广泛的本地集群调度器之一。 PBS的目前包括openPBS, PBS Pro和Torque三个主要分支. 其中OpenPBS是最早的PBS系统, 目前已经没有太多后续开发,PBS pro是PBS的商业版本, 功能最为丰富. Torque是Clustering公司接过了OpenPBS, 并给与后续支持的一个开源版本.
利用好下面的三个步骤就可以简单进行单线程计算了。
实例:
* 01 - 上传你的代码
>
* 02 - 保存下面的代码以 .sh后缀的文件(例:test.sh),并于上面你的代码放在一个目录下
```
#$ -S /bin/sh
#$ -cwd
#$ -o /backup/home/wangliang/joblogs ## 换成自己的目录
#$ -e /backup/home/wangliang/joblogs ##换成自己的目录
#$ -j y
#$ -N py-try ## 自己可读的命名
#$ -q normal.q
#$ -pe mpi 1-1 ## 计算机核数,我的代码并没有并行运算,所以核数为1
export PYTHONHOME=/usr/local/Python3.6.1 # python3.6的根目录
export PATH=$PYTHONHOME/bin:$ PATH # 路径加入
export LD_LIBRARY_PATH=$PYTHONHOME/lib:$ LD_LIBRARY_PATH
$ python3 00-try.py ## 运行代码
```
* 03 - 在终端输入命令进行操作
> $ qsub test.sh
> $ qdeltest.sh
> $ qstat
> $ quota
## 结语
我也只是个小白,如果以前没有提交服务器的经验,有可能有点帮助,对于大神,只是班门弄斧,希望能帮助到大家。
好像matlab, Python3等还没有实装,只好自己安装在自己目录下了!
>后续的并行等我搞清楚python并行再说。