如何下载TCGA数据/TCGA数据下载小教程

1. 什么是TCGA？TCGA中有哪些数据？

TCGA的全称是The Cancer Genome Atlas, 这个项目始于2005年，它旨在使用基因测序和生物信息学编目与癌症有关的基因突变。TCGA通过利用高通量基因组分析技术，来帮助我们更好地理解癌症的遗传学基础，从而提升我们对于癌症的诊断能力和对癌症的治疗、预防。
TCGA受美国癌症研究所(National Cancer Institute)下的癌症基因组中心和美国人类基因组研究所监管。
TCGA包括主要进行测序的基因组表征中心(genome characterization centers, GCCs)和负责测序数据分析的基因组数据分析中心(genome data analysis centers, GDACs)，到目前为止TCGA共有39种癌症的相关测序数据，涉及29种癌症器官，1万多个肿瘤样本，27万多份文件。

• 那么可以从TCGA中下载到哪些类型的数据呢？
TCGA的数据类型主要有以下几种：
(1) Clinical: 包括病人的一般情况、诊治情况、TNM分期、肿瘤病理、生存情况等。
(2) mRNA表达数据: 通过mRNA芯片或者RNAseq测得的mRNA表达量
(3)microRNA: microRNA芯片或者microRNA-Seq测得的microRNA表达量
(4) Copy number variation: SNP芯片得到的肿瘤组织比对正常组织的染色体上各片段的比值
(5) Mutation: 肿瘤组织测序结果相对参考基因组的核苷酸突变，包括插入和缺失等变化
(6) Protein: 蛋白芯片测序得到的约200种常见癌症相关蛋白的表达量
(7) Mythelation: 甲基化芯片测得的DNA甲基化数据，主要为27和450两种芯片的数据

其中mRNA-Seq，miRNA-Seq以及Methylation Array被广泛使用。

mRNA-Seq数据分为3种：
HTSeq-Counts；HTSeq-FPKM；HTSeq-FPKM-UQ。
前两个比较好理解，第三个跟第二个的区别在于不同的标准化方法，公式可参考https://docs.gdc.cancer.gov/Data/Bioinformatics_Pipelines/Expression_mRNA_Pipeline/

• TCGA数据等级：

level1：原始数据
level2：处理过的数据
level3：经过分割、解释的数据
level4：感兴趣的区域或概要
总而言之，前面2个层级的数据一般是拿不到的，需要权限，一般也只有国外的PI才能申请到（听说的），我们一般拿到的open数据就属于那种已经标准化后的数据。

• TCGA样本分类：
除了要知道数据等级外，我们还需要了解TCGA的样本分类，比如哪个是正常样本，哪个是肿瘤样本

一般我们可以看到样品名称如：TCGA-19-2619-10A，我们需要关注的是最后一位10A，一般来说01代表癌症样本，11代表癌旁样本。其实从01-09是tumor，癌症样本；10-29是normal，癌旁样本。只是其中分的比较细

具体可参考官网说明：https://wiki.nci.nih.gov/display/TCGA/TCGA+barcode

2. TCGA数据下载方式

主要有三种方式可以下载TCGA的数据，一是利用GDC官方的下载工具；二是利用cbioportal下载；三是TCGA-assembler 2。

在这里我将着重分享一下利用GDC进行TCGA数据下载的方式。

(1) GDC官方下载工具下载和安装

---

TCGA GDC Data Portal官网地址为：https://portal.gdc.cancer.gov/

进入GDC主页面之后，选择"Repository"进行查看以及下载数据(Browse and download data)；

GDC home page

进来“Reoository”的界面如下图。GDC给出了一系列的用户友好的选择框，你只需要根据条条框框来选择就可以下载到自己想要的数据，而不需要去几百个文件夹里面漫无目的的查找了。根据自己课题的需求，在对应的"Cases"框和"Files"分别选中你要的条件即可。

Repository 界面

一般在下载数据时先设定“Cases”的条件，再设置“Files”的条件。下面以下载乳腺癌miRNA表达数据为例进行演示：
• 在Cases界面分别对Primary Site, Project, Disease Type几个主要信息进行设置，如下图：

TCGA数据下载示例1

• 在Files界面进行选择，它包括Data Category, Data Type, Exprimental Strategy, Workflow Type等。选择如下图：

TCGA数据下载示例2

• Cases和Files都选择好了之后，点击“Manifest”下载相应的.manifest文件

TCGA数据下载示例3

• 下载选择这批Cases的clinical信息文件：即不改变Cases部分的选择，清空Files的勾选项，在Data Category中选择Clinical，再在Data FOrmat中选择XML格式，如下图：

TCGA数据下载示例4

同样的选择好后，下载manifest文件。
▷ Tip: 注意此时得到的样本数量，这在后续用下载得到的miRNA表达数据结合临床信息进行生存分析的时候有用

• 两个manifest文件下载完后，通过Filezilla Client这个软件将本地的manifext相关的两个.txt后缀的文件传输到linux服务器上
(这一步是否要进行取决于你想在哪边使用GDC client这个软件，由于我之后会直接把GDC client下载到linux服务器上，所以同时也把manifest.txt上传到了服务器)
▷附GDC Data Transfer Toll Client地址：https://gdc.cancer.gov/access-data/gdc-data-transfer-tool

TCGA数据下载示例5

接下来主要是Linux服务器上的命令相关操作

1. Linux环境下下载并解压GDC Client

wget https://gdc.cancer.gov/system/files/authenticated%20user/0/gdc-client_v1.4.0_Ubuntu_x64.zip
unzip gdc-client_v1.4.0_Ubuntu_x64.zip

2. 利用GDC Client下载menifest.txt文件中的数据

./gdc-client --help
./gdc-client download --help
./gdc-client download -m gdc_manifest.2019_04_24_BRCA_clinical.txt
同理根据miRNA的manifest文件下载miRNA的数据。

3. 查看样本的生存情况

grep -i vital_status */*xml | grep -v Alive | wc
因为false不代表death，所以这里选择查看的是alive的样本数量。
当你不那么会编程，但是有需要整理下载下来这些样本时，你可能会需要以下命令：
grep -i vital_status */*xml|grep Alive |cut -d"." -f 3|sort -u |wc

Reference:
[1] TCGA-wikipedia
[2] 初步认识TCGA
[3] 生信技能树-TCGA肿瘤数据库知识图谱视频教程