闲言碎语
从今天开始转录组学习进入正题啦。
要重现的文章是
RNA-Seq Transcriptome Profiling Identifies CRISPLD2 as a Glucocorticoid Responsive Gene that Modulates Cytokine Function in Airway Smooth Muscle Cells
虽然不是做植物的,但是大体上都是相通的嘛。
数据存放在NCBI的GEO数据库,现在铺天盖地的都是关于GEO数据库挖掘的教程,比如我树就有GEO的教程,其他平台就更多了,不胜枚举。但是我好像似乎很少接触这个数据库(几乎没有),NCBI用的比较多的就是SRA数据库,有的时候用Taxonomy查一查物种分类信息,年轻的时候(本科二年级)还用过EST数据库(现在都已经被NCBI的别的数据库吞并掉了。官网显示:The Nucleotide database will include EST and GSS sequences in early 2019. )。生信这一行要学的东西很多,会的越多就会发现不会的越多,没法以有限的生命去探索无限的生信的,选择自己感兴趣的方向就好了。
下面提供一个豆豆写的介绍各种数据库的文章,写得可好了,值得推荐:
点我看GEO数据库介绍
皮完了开始正题。
根据文章介绍,数据存放在了GEO数据库的编号是GSE52778.
传送门:https://www.ncbi.nlm.nih.gov/geo/query/acc.cgi?acc=GSE52778
这里讲个小技巧:观察一下上面这个链接,是不是搜的GSE52778在最后面?所以如果你想搜换一个编号,那就把
acc=
后面的编号替换一下就好了。chrome有一个很好用的功能,在右上角的设置
→管理搜索引擎→其他搜索引擎
,点击添加,按照下图的模式填写内容:
添加搜索引擎
输入geo并按一下空格
,就会启动使用GEO数据库搜索
,这时候只要把要搜的编号打进去就好了,就能直接跳转到你输入的编号的GEO数据库位置了。
使用GEO数据库搜索
我们要的原始数据呢就放在这里啦:
什么嘛,原来又绕回到SRA数据库去了。
野路子方法
点进来发现有16个数据,一般多个数据的序号都是连着的,按照我以前的彪悍做法呢,就直接写个循环都下载了,不要的下完了删掉。比如这里的SRR编号是SRR1039508 ~ SRR1039523刚好16个。
脚本如下:
# 直接用wget下载,-c参数是断点续传,可以在网络断开之后第二次从断开的地方继续下载,否则会从头开始下载噢
list={08..23}
for i in $list
do
wget -c ftp://ftp.ncbi.nlm.nih.gov/sra/sra-instant/reads/ByRun/sra/SRR/SRR103/SRR10395${i}/SRR10395${i}.sra
done
# 用axel下载。前提是要先安装。我知道ubuntu系统是可以安装的, 别的系统就不知道了。安装需要root权限,也可以用源码或者conda安装.
# sudo apt-get install axel
list={08..23}
for i in $list
do
axel ftp://ftp.ncbi.nlm.nih.gov/sra/sra-instant/reads/ByRun/sra/SRR/SRR103/SRR10395${i}/SRR10395${i}.sra
done
记得用nohup把脚本挂后台下载。比如把这个脚本命名成dataDown.sh
nohup bash dataDown.sh &
你问我ftp后面这一串文件夹是怎么找到的?
无他,唯手熟尔。你要是天天到SRA数据库捞数据并且善于观察和记忆的话你也可以驾轻就熟的。
以上两种方法二选一。但是这毕竟是野路子,不管是工具还是过程。而且wget有下载不完全的风险,并且下载速度也不敢恭维。axel是一个多线程的下载工具,下载起来会比axel快一些,但是有很多站点是不支持axel下载的。
那正确的方法是什么呢?
正经方法
查看GSE的介绍:
一共四组,每组四个生物重复。这到底用啥处理的?翻译一下了解一下:
1)没有治疗;
2)用β2-激动剂(即沙丁胺醇,1μM,18小时)处理;
3)用糖皮质激素(即地塞米松(Dex),1μM处理18小时);
4)同时用β2-激动剂和糖皮质激素治疗
本次学习小组用对照组和Dexamethasone(第三组)进行学习。
点击如图的位置打开一个新的界面
根据描述勾选所需的数据,点击accession list按钮下载
用notepad++打开之后是这样的:
创建工作目录:
mkdir -p ~/rnaseq/{01raw,02clean,03ref,04qc,05align,06count,07script}
加上编号比较方便快速cd到想要去的文件夹。
软件安装
接下来用conda安装所需的软件
conda的安装教程可以参考我的这篇:
conda的安装与使用(2019-5-16更新)
(这篇已经有四万八千多的阅读量了……把我自己都吓到了)
# 创建一个新的用于rnaseq的环境,并安装sra-tools
conda create -n rnaseq sra-tools
# 创建好后激活该环境
conda activate rnaseq
根据豆豆的这篇文章:来吧,加速你的下载
get 如何配置aspera来提高数据的下载速度
2021-05-26 update:
也可以用conda来安装aspera: conda install -c hcc aspera-cli
mkdir ~/biosoft
cd ~/biosoft
wget -c http://download.asperasoft.com/download/sw/connect/3.7.4/aspera-connect-3.7.4.147727-linux-64.tar.gz
tar -zxvf aspera-connect-3.7.4.147727-linux-64.tar.gz
chmod 777 aspera-connect-3.7.4.147727-linux-64.sh
bash chmod 777 aspera-connect-3.7.4.147727-linux-64.sh
安装过程中会有提示的:
Installing Aspera Connect
Deploying Aspera Connect (/home/xxx/.aspera/connect) for the current user only.
Restart firefox manually to load the Aspera Connect plug-inInstall complete
到家目录用ll -a
查看是否存在一个.aspera
的隐藏文件
cd ~
ls -a
tree .aspera
内容还挺丰富,tree的结果展示出了很多的文件及文件夹,就不放了。
把~/.aspera/connect/bin/ascp
加入到环境变量中,以全局调用。
再讲一个小技巧。
在做生信的过程中难免装很多很多的软件,如果每次都把软件的文件夹加入到$PATH
中会让$PATH
变得很乱。那怎么办呢?
解决办法是设定一个特定的文件夹叫softlink
,把它加入到~/.bashrc
中,如果所安装的软件只有一个程序的话,在softlink
中创建一个该程序的软连接即可全局调用该软件啦。
mkdir ~/softlink
echo 'export PATH=~/softlink:$PATH' >> ~/.bashrc
# 或者用vim编辑
cd ~/softlink
ln -s ~/.aspera/connect/bin/ascp .
这种方法只适用于单个可用程序的情况,如果安装的是一个文件包,里面有很多的脚本和程序可以用的话,还是老老实实的把整个文件夹加入到$PATH
中噢。具体的方法我就不写了,可以去看豆豆的那一篇文章。
下载数据
因为我用的是windows平台,连接服务器用的是xshell,我可以直接将刚刚下载到本地的
SRR_Acc_List.txt
通过拖动,拖到服务器上。但是需要用安装一个叫lrzsz
的程序
apt-get install lrzsz
刚刚搜了一下,可以用源码安装lrzsz
的。教程在此:Linux下rz/sz安装及使用方法
正式开始下载啦:
cd ~/rnaseq/01raw
# 直接把文件拖进终端
echo 'cat SRR_Acc_List.txt | while read i ;do prefetch $i -O `pwd` ;done' > dataDown.sh
time bash dataDown.sh
下完了 看了下时间
real 7m24.571s
user 0m49.040s
sys 2m22.474s
真香!
下好数据啦!那么今天的任务就结束啦~