GEO与SRA数据库|编号的对应与数据批量下载

一、GEO Datasets各种编号的意义

首先需要捋清楚GEO Datasets中的各种编号。

GPL，platform ID。记录测序或芯片的平台，对于芯片平台，其包含基因-探针对应关系的表格。关于平台的描述由厂家提供，ID由数据上传者提供。

GSE，Series ID。记录实验项目，即包含所有有关联的样品形成的有目的的研究。这个ID及对应的描述均由上传者提供，包括文章的摘要（若发表）、整体实验设计思路等。不同的研究可能运用相同的测序或芯片平台，故不同GSE号可能GPL号相同；一个研究可能包含多个不同平台获得的数据，故一个GSE号可能对应多个GPL（常常对应一个）。

GSM，Sample ID。是单个样本的实验数据，记录了一个处于特定处理条件的样本以及对应的建库测序方法。这个ID及对应的描述均由上传者提供，包括样本处理方式、建库方法、数据处理方法等。一个GSE对应一至多个GSM，一个GSM仅属于一个GSE。

二、SRA与GEO数据库的联系

GEO Datasets 常常作为已发表文献的参考数据集，故其中的数据是根据研究者需求进行过处理的，如果需要将多个数据集放到一起参考，则需要得到原始数据。SRA（NCBI Sequence Read Archive）数据库可以满足我们的需求。数据库中存储了二代测序的原始数据，包括454，illumina，SOLiD，IonTorrent等。除了原始序列数据外，SRA现在也存在raw read 在参考基因的比对信息。需要注意的是，像转录组测序和芯片数据这样的高通量数据，原始数据会放在SRA中，而RT-PCR这类低通量数据，可以直接在GEO Dataset的界面下载原始数据的矩阵。

RT-PCR的GEO界面

每一个GSE ID可以对应到SRA数据库的SRP ID。在页面内点击SRP的编号可以直接跳转到SRA数据库。

RNA-seq的GEO界面

SRA中数据结构的层次关系为：Studies研究课题（ERP/SRP）→ Experiments实验设计（SRX）→ Samples样本信息（SRS）→ Runs测序结果集（SRR）.

SRP和GSE ID对应；SRX是SRA数据库的最小记录单位，与GSM ID对应。SRR，这个ID对应真实的测序数据。每一个实验可能对应多个SRR ID，因为有时候测序仪RUN一次无法产生足够的数据。

三、SRA数据库中数据的下载

下载网址：在NCBI上数据集的页面，点击SRP号，可以直接进入下载SRA号的界面。下载的表格包括SRR号码和NCBI的下载链接。

实验项目介绍界面

数据集中各个样本信息

下载的excel

理论上来说，运用此处的下载链接可以直接下载，但是用服务器批量下载容易被墙。报错：Unable to connect ot server sra-downloadb.be-md.ncbi.nih.gov:80

运用亚马逊链接下载：https://sra-pub-run-odp.s3.amazonaws.com/sra/SRRXXXXXX/SRRXXXXXX

（链接最后是输入两次SRR ID）

运用axel下载工具下载：axel <下载链接>

报错

四、数据的批量下载--bash

将sh文件上传服务器。文件中批量放入axel命令。如下图。

sh文件

运行sh文件：sh 绝对路径

五、screen挂起下载

数据集的数据量很大，有时候下载要一整天，如果不小心与服务器断了连接就需要重新运行。screen挂起下载尤为有用。

screen基本命令

screen -S #新建名叫name的session

screen -ls -> 列出当前所有的session

screen -r #恢复到name这个session

kill -9 #关闭这个session，会话由detached变为dead

screen -wipe #清除dead会话

Ctrl+A-D（Ctrl不松开，A和D先后按）从screen的session跳回，显示[detached from ...]

新建多个session

关闭一个screen session