如何使用服务器下载和处理文件/以及传输文件至本地文件夹

本文是个人笔记~（学校的网课）

如何使用服务器提交任务：下载SRR文件、以及提取fastq文件、查看fastqc结果。

（一）如何在服务器上执行任务

登录服务器后，找到任务文件，修改里面的必要信息

#修改任务信息，实际上就是一个脚本
$ vim download_example.sh

#!/bin/bash
#SBATCH --job-name=download_example                     # Job name
#SBATCH --mail-type=END,FAIL                            # Mail events (NONE, BEGIN, END, FAIL, ALL)
#SBATCH --mail-user= **********（自己的邮箱）  # Where to send mail
#SBATCH --ntasks=1（一个cpu上几个任务）                                      # Run on a single CPU
#SBATCH --mem=8gb  （需要的内存）                                     # Job memory request
#SBATCH --time=01:00:00 （需要的时间）                               # Time limit hrs:min:sec
#SBATCH --output=*******（路径，如果任务报错，报错的信息存放的地方）     # Standard output and error log
#SBATCH -p cpu_short

## Load modules （注明你需要从服务器调用的软件）
module load sratoolkit/2.9.1
module load fastqc

## Download data（要运行的代码：首先下载SRR文件，并提取fastq文件）
fastq-dump --split-files SRR1523671 --gzip -O /gpfs/home/(your ID)/download_0520/ --origfmt

## Run fastqc（要运行的代码：用fastqc进行QC）
fastqc -o QC/ /gpfs/home/(your ID)/download/SRR1523671_1.fastq.gz /gpfs/home/(your ID)/download/SRR1523671_2.fastq.gz
~
Type  :quit  to exit Vim                                                           20,1          All

修改后，执行任务：

$ sbatch download_example.sh

查看自己的任务状态：

$ squeue -u （your ID）
             JOBID PARTITION     NAME     USER ST       TIME  NODES NODELIST(REASON)
           7242048 cpu_short download  *****   PD（表示未开始）       0:00      1 (Priority)
$ squeue -u （your ID）
             JOBID PARTITION     NAME     USER ST       TIME  NODES NODELIST(REASON)
           7242048 cpu_short download  *****    R（表示正在运行）       5:24      1 cn-0008

（二）如何将运行后的文件传到自己本地的文件夹里

两种方式：

（1）代码传输

win10系统为例，在电脑左下角的搜索栏里输入"cmd"，调出命令行：

在命令行输入：

> scp ID@bigpurple:/gpfs/home/ID/QC/SRR1523671_1_fastqc.html(要复制的文件的绝对路径) C:\Users\YF\Desktop(本地文件夹路径)

（2）用FileZilla软件传输文件

网课的老师介绍了一款软件，可以用来进行传输文件（服务器与本地电脑之间）。
下载地址：https://filezilla-project.org/
安装很简单。

打开FileZilla:

左边就是本地文件夹。点击左上角“文件”>>>“站点管理器”，会弹出：

选择“协议”，这里是SFTP（因为是ssh登录服务器），再输入用户名和登录密码，点“连接”。连接成功就会显示：

然后选择你要传输的文件，直接拖到左边的框框里：

传输成功会显示：