Aspera数据下载快速应用

所以秋天要泡澡啊！

本来下载数据用的是NCBI官方指定的sratool-kit里面带的prefetch，本来实验室网速快还没啥问题，但是这次碰到了一个硬茬，压缩后数据15G，下载数次中断，后来转为使用aspera进行下载，快速入手记录。

该教程基于Linux环境

安装

conda熟练手都懂的
conda install -c hcc aspera-cli

配置参数

-v verbose mode 唠叨模式，能让你实时知道程序在干啥，方便查错。有些作者的程序缺乏人性化，运行之后，只见光标闪，压根不知道运行到哪了
-T 取消加密，否则有时候数据下载不了
-i 提供私钥文件的地址，我也不知道干嘛的，反正不能少，地址一般是~/.aspera/connect/etc中的asperaweb_id_dsa.openssh文件
-l 设置最大传输速度，一般200m到500m，如果不设置，反而速度会比较低，可能有个较低的默认值
-k 断点续传，一般设置为值1
-Q 不懂，一般加上它
-P 提供SSH port，一般是33001，反正我不懂

参考：https://blog.csdn.net/herokoking/article/details/78890567

简单使用

• NCBI 下载数据

  • 先在GEO里面找打你的目的数据，及其SRR号（举例）：SRR653396

  • 在FTP位置ftp://ftp.ncbi.nlm.nih.gov/sra/sra-instant/reads/ByRun/sra/SRR/找到该文件：ftp://ftp.ncbi.nlm.nih.gov/sra/sra-instant/reads/ByRun/sra/SRR/SRR653/SRR653396/SRR653396.sra

  • 替换以下代码

    ~/biosoft/anaconda/etc/asperaweb_id_dsa.openssh为你自己安装后的openssh位置
    /sra/sra-instant/reads/ByRun/sra/SRR/SRR653/SRR653396/SRR653396.sra为文件ftp地址的路径，去掉开头的地址然后使用公用账号anonftp进行下载，最后成型的下载代码为：

    ascp -v -k 1 -T -l 200m -i ~/biosoft/anaconda/etc/asperaweb_id_dsa.openssh [email protected]:/sra/sra-instant/reads/ByRun/sra/SRR/SRR653/SRR653396/SRR653396.sra ./
    

NOTE !

洲更给了额外信息，当安装了aspera以后，prefetch会优先调用aspera，下载代码为:

prefetch SRR653396
# 会报错

2018-11-08 更新，prefetch下载方式从prefetch SRR653396更新为prefetch --ascp-path '$HOME/.aspera/connect/bin/ascp|$HOME/.aspera/connect/etc/asperaweb_id_dsa.openssh' SRR653396，不然会报错：

2018-11-08T12:34:14 prefetch.2.8.1: 1) Downloading 'SRR653396'...
2018-11-08T12:34:14 prefetch.2.8.1:  Downloading via fasp...
2018-11-08T12:34:15 prefetch.2.8.1 err: process failed while waiting process - ascp failed with 1
2018-11-08T12:34:16 prefetch.2.8.1 err: process failed while waiting process - ascp failed with 1
2018-11-08T12:34:16 prefetch.2.8.1:  fasp download failed
2018-11-08T12:34:16 prefetch.2.8.1: 1) failed to download SRR653396

• ENA 下载数据

  • 一样的步骤，不过是去ENA直接搜索，复制fastq.gz文件的地址，进行依葫芦画瓢式的替换后进行下载

  • 成型下载代码为：

    ascp -v -k 1 -T -l 200m -P 33001 -i ~/biosoft/anaconda/etc/asperaweb_id_dsa.openssh [email protected]:/vol1/fastq/SRR949/SRR949627/SRR949627_1.fastq.gz ./
    

结语

透，下载速度是真滴快。

另外，洲更也在以及生信媛公众号上发过如何上传数据，本篇和其组成UP/DOWN LOAD姐妹篇。
文首图片来自《海街日记》