RNAseq002 转录组入门(2) ：数据下载

1 获取文章数据

1.1 获得文章数据地址

AKAP95 regulates splicing through scaffolding RNAs and RNA processing factors. Nat Commun 2016 Nov 8;7:13347. PMID: 27824034
https://www.nature.com/articles/ncomms13347

1.2 打开GEO DataSets官网

https://www.ncbi.nlm.nih.gov/gds/?term=

1.3 检索关键词GSE81916

image.png

点击send to file可得到以下txt文件

image.png

1.4 点击进入匹配到的数据链接

• Download family是经过GEO数据库整理和标准化的数据
• Supplementary file是原始数据，提供SRA格式的文件
  https://www.ncbi.nlm.nih.gov/geo/query/acc.cgi?acc=GSE81916
  翻到网页的最底部
  
  image.png
  
  
  image.png

1.4.1 custom

bw文件是精简版的bam文件

custom

1.4.2 http

右键复制http链接：https://www.ncbi.nlm.nih.gov/geo/download/?acc=GSE81916&format=file

1.4.3 获取SRR_Acc_List.txt

SRA Run Selector（红色箭头部分）
选择Selected→选中要下载的RNAseq数据→下载SRR_Acc_List.txt

image.png

SRR_Acc_List.txt

1.5 获取数据下载链接

1.4.3中的红色框内部分点击其中的SRR3589956，可以进入如下界面，选择Data access，复制其中的数据下载链接

image.png

2 数据下载

2.1 下载方式1：prefetch

prefetch命令需要安装sratoolkit，详见：Linux011 Sra toolkit安装及使用
SRR_Acc_List.txt可以自建，也可以由#1.4.3下载得到

# 创建下载数据列表，将空格替换为换行符\n
echo SRR35899{56..62} | sed 's/ /\n/g' > SRR_Acc_List.txt
# 查看列表是否创建成功
cat SRR_Acc_List.txt  
# 创建一个简单的循环脚本
vim prefetch.sh
# 选择insert模式
i
# 输入脚本内容，注意 #!/bin/bash是脚本的第一行内容，意思是该脚本通过bash运行
# 0、1和2分别表示标准输入、标准输出和标准错误信息输出，默认为标准输入，`1>$id.download.log 2>&1`表示将标准输入重定向到各ID对应的$id.download.log日志文件，并将错误信息也重定向至该文件
# 
#!/bin/bash
cat SRR_Acc_List.txt | while read id;do prefetch  $id 1>$id.download.log 2>&1;done
# 后台无挂断运行脚本
nohup bash prefetch.sh &

nohup的使用，详见：Linux022 Linux后台运行程序及查看

2.2 下载方式2：wget

获取下载链接：

• 使用sratoolkit软件的srapath命令获得下载地址

srapath SRR3589962
# https://sra-downloadb.be-md.ncbi.nlm.nih.gov/sos2/sra-pub-run-7/SRR3589962/SRR3589962.1

• 使用1.5中复制的数据下载链接

wget https://sra-downloadb.st-va.ncbi.nlm.nih.gov/sos1/sra-pub-run-8/SRR3589956/SRR3589956.1

wget命令也是非常方便的下载工具。用它们来下载小数据是十分合适的，但是对于动辄以GB 甚至TB来计数的高通量数据，wget的优势就并不明显了。如果程序中断，或者网络原因下载中断，你又得重新下载。同样，NCBI也指出了wget可能存在不能完整下载全部数据的问题。There are several reasons why direct use of ascp (or curl, wget, etc) is not recommended. The main reason is that they are likely to only retrieve a portion of the data required.

2.3 下载方式3：aspera

软件安装详见：linux025 SRA数据下载工具ascp的安装及使用

2.3.1 NCBI

根据网上的教程，一上午折腾配置了很久，结果没有能成功下载，并提示如下的错误

ascp -v  -k 1 -T -l200m -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh [email protected]:/sos1/sra-pub-run-8/SRR3589956/SRR3589956.1 .
# 本以为是链接的问题，试了下网友们用的链接，也不行
ascp -v -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -k 1 -T -l 200m [email protected]:/sra/sra-instant/reads/ByRun/sra/SRR/SRR358/SRR3589956/SRR3589956.sra .

报错原因：NCBI声明

As of early 2019, the SRA is starting to make use of additional forms of storage media, which are less useful over Aspera's faspprotocol. Files stored in these media may not be accessible via ascp and have triggered creation of some issues to report the problem.
即2019开始，SRA数据库的数据存储方式做出了改变，使用ascp来下载数据可能会带来其他的一些问题。

2.3.2 ENA （最高效，优选）

• 参考教程
  使用aspera从EBI下载fastq数据，抛弃NCBI的SRA数据库吧！
  https://ena-docs.readthedocs.io/en/latest/retrieval/file-download.html#downloading_files_aspera
• 主页查找数据地址，进入PRJNA323422
  https://www.ebi.ac.uk/ena/browser/view/
  
  image.png

• 下载tsv文件

  
  
  image.png
• 获取fastq地址
  
  image.png
  
  如SRR3589962的fastq_ftp地址如下
  ftp.sra.ebi.ac.uk/vol1/fastq/SRR358/002/SRR3589962/SRR3589962_1.fastq.gz;ftp.sra.ebi.ac.uk/vol1/fastq/SRR358/002/SRR3589962/SRR3589962_2.fastq.gz
• 单个数据下载

运行代码如下

# 直接用ascp会报错，改成绝对路径
ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh [email protected]:vol1/fastq/SRR358/002/SRR3589962/SRR3589962_2.fastq.gz .

结果报错：

ascp: no remote host specified
Startup failed, exit

解决办法：将ascp改为绝对路径

# 最后的点代表当前路径，可修改
/home/caoqiansheng/.aspera/connect/bin/ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh [email protected]:vol1/fastq/SRR358/002/SRR3589962/SRR3589962_2.fastq.gz .

• 批量下载
  使用aspera从EBI下载fastq数据，抛弃NCBI的SRA数据库吧！

因只需要56-62部分的RNAseq数据，现将脚本修改如下

for i in {56..62}
do

        a0='/home/caoqiansheng/.aspera/connect/bin/'
        a1='ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh [email protected]:vol1/fastq/SRR358/00'
        a2=$(($i % 10))
        a3='/SRR35899'$i
        a4='_1.fastq.gz .'
        a5='_2.fastq.gz .'
        echo $a0$a1$a2$a3$a3$a4
        echo $a0$a1$a2$a3$a3$a5
done >> ascp.command

运行脚本

nohup bash ascp.command &

折腾了一下午，终于成功了，下载速度100M，飞一般的感觉

Reference

https://zhuanlan.zhihu.com/p/89024212
https://www.jianshu.com/p/6693876940a7
使用aspera从EBI下载fastq数据，抛弃NCBI的SRA数据库吧！
https://ena-docs.readthedocs.io/en/latest/retrieval/file-download.html#downloading_files_aspera