新版TCGA的突变SNP数据下载和整理

关于TCGAbiolinks包的学习前面一共介绍了5篇推文。

今天继续学习如何使TCGAbiolinks下载和整理MAF格式的突变数据。

之前的TCGA的MAF文件是可以下载的,每个癌症包含4种软件得到的突变文件:

之前能下载,现在不能了

后来就改版了,不让你随便下载了。但其实还是可以下载的,只不过没有那么多选择了!

现在的情况是每个样本都是一个单独的maf文件,需要下载后自己整理,就像整理表达矩阵那样。

MAF文件的下载

但是现在我们有TCGAbiolinks,根本不需要自己动手,直接三步走即可得到我们需要的MAF文件。

library(TCGAbiolinks)

query <- GDCquery(
    project = "TCGA-COAD", 
    data.category = "Simple Nucleotide Variation",
    data.type = "Masked Somatic Mutation",
    access = "open"
)
  
GDCdownload(query)
  
GDCprepare(query, save = T,save.filename = "TCGA-COAD_SNP.Rdata")

这样得到的这个Rdata文件其实是一个数据框,不过由于内容和之前的MAF文件一模一样,所以也是可以直接用maftools读取使用的。

maftools是一个非常强大的突变数据可视化和分析的R包,这个包在bioconductor上,需要的自行安装。

无缝对接maftools

由于我们在第一步已经下载过了,所以这里就不用下载了,直接加载保存好的数据。

我们以TCGA-COAD的数据作为演示。

library(maftools)

load(file = "./TCGA-SNP/TCGA-COAD_SNP.Rdata")

maf.coad <- data

简单看一下这个数据:

class(maf.coad)
## [1] "data.frame"

dim(maf.coad)
## [1] 252664    141

maf.coad[1:10,1:10]
##    X1 Hugo_Symbol Entrez_Gene_Id Center NCBI_Build Chromosome Start_Position
## 1   1        AGRN         375790    BCM     GRCh38       chr1        1046481
## 2   1       ACAP3         116983    BCM     GRCh38       chr1        1295539
## 3   1      CALML6         163688    BCM     GRCh38       chr1        1916980
## 4   1       PRKCZ           5590    BCM     GRCh38       chr1        2150972
## 5   1      WRAP73          49856    BCM     GRCh38       chr1        3635995
## 6   1        CHD5          26038    BCM     GRCh38       chr1        6142440
## 7   1      CAMTA1          23261    BCM     GRCh38       chr1        7663513
## 8   1      ERRFI1          54206    BCM     GRCh38       chr1        8014193
## 9   1      SLC2A7         155184    BCM     GRCh38       chr1        9022922
## 10  1         PGD           5226    BCM     GRCh38       chr1       10411462
##    End_Position Strand Variant_Classification
## 1       1046481      +        Frame_Shift_Del
## 2       1295539      +      Missense_Mutation
## 3       1916980      +                 Silent
## 4       2150972      +                 Silent
## 5       3635995      +                 Silent
## 6       6142440      +      Missense_Mutation
## 7       7663513      +                 Silent
## 8       8014193      +      Missense_Mutation
## 9       9022922      +      Missense_Mutation
## 10     10411462      +                 Silent

可以看到是一个data.frame类型的文件。

这个文件一共有252664行,141列,包含了gene symbol,突变类型,突变位置,导致的氨基酸变化等信息。

下面就直接用read.maf()函数读取即可,没有任何花里胡哨的操作!

maf <- read.maf(maf.coad)
## -Validating
## -Silent variants: 63597 
## -Summarizing
## --Mutiple centers found
## BCM;WUGSC;BCM;WUGSC;BCM;BI--Possible FLAGS among top ten genes:
##   TTN
##   SYNE1
##   MUC16
## -Processing clinical data
## --Missing clinical data
## -Finished in 6.000s elapsed (5.690s cpu)

然后就是进行各种可视化操作,毫无难度:

plotmafSummary(maf = maf, rmOutlier = TRUE, addStat = 'median', dashboard = TRUE)
image.png

是不是非常简单,虽然没有直接提供单个癌症的MAF文件,但是使用TCGAbiolinks后,会直接帮我们整理好,没有任何难度。

如果你由于各种原因不能使用这个包下载数据,那你可以直接用网页下载,然后按照我之前的推文进行整理:TCGA下载和表达矩阵整理:最适合初学者的教程 - (jianshu.com)

但是这个方法用在表达谱数据是没有问题的,理论上用在其他类型的数据都是可以的,但是我并没有尝试过,欢迎大家使用后留言。

如果你在网络上看见一个叫xxx.pl的文件,并且需要付费获取,建议你不要花这个冤枉钱,不值那个价,希望大家多多擦亮眼睛!

如果你非要用手撕代码的方式自己整理,也是非常简单的,比整理转录组数据的表达矩阵简单100倍。

自己整理成MAF格式

首先你要去GDC TCGA的官网下载某个癌症的所有的maf文件,还是以TCGA-COAD为例,下载好之后是这样的:

image.png

每个样本第一个文件夹,每个文件夹下面有一个.gz结尾的压缩文件,这个文件解压缩之后就是大家熟悉的.maf文件大,但是只是一个样本的~

image.png

把这个.maf文件用VScode打开后是这样的:

image.png

不妨多解压几个打开看一看,都是一样的结构,所以就很简单了,把所有的文件读取进来然后直接rbind()即可。

但是在此之前我们可以先读取一个试试看:

# 路径必须正确
tmp <- read.table("G:/tcga/GDCdata/TCGA-COAD/harmonized/Simple_Nucleotide_Variation/Masked_Somatic_Mutation/007c2ae4-bbd2-42c6-ab67-bf016fbddb51/982004b5-52e1-4a69-97d3-25bdcb77b026.wxs.aliquot_ensemble_masked.maf.gz",
                  skip = 7, # 前面7行都不要
                  sep = "\t", # 必须指定
                  header = T # 有行名
                  )

tmp[1:10,1:8]
##    Hugo_Symbol Entrez_Gene_Id Center NCBI_Build Chromosome Start_Position
## 1        NOC2L          26155    BCM     GRCh38       chr1         945088
## 2         SDF4          51150    BCM     GRCh38       chr1        1217753
## 3      B3GALT6         126792    BCM     GRCh38       chr1        1233752
## 4         MIB2         142678    BCM     GRCh38       chr1        1629520
## 5         NADK          65220    BCM     GRCh38       chr1        1765325
## 6         GNB1           2782    BCM     GRCh38       chr1        1804562
## 7        PANK4          55229    BCM     GRCh38       chr1        2510063
## 8       PRXL2B         127281    BCM     GRCh38       chr1        2588386
## 9       PRDM16          63976    BCM     GRCh38       chr1        3412316
## 10      WRAP73          49856    BCM     GRCh38       chr1        3633442
##    End_Position Strand
## 1        945088      +
## 2       1217753      +
## 3       1233752      +
## 4       1629520      +
## 5       1765325      +
## 6       1804562      +
## 7       2510063      +
## 8       2588386      +
## 9       3412316      +
## 10      3633442      +                                                                        

非常顺利,和上面那个整理好的格式一模一样,唯一不同就是这个只是一个样本的。

下面我们就批量读取并合并就好了!

# 确定文件路径!
dir.path <- "G:/tcga/GDCdata/TCGA-COAD/harmonized/Simple_Nucleotide_Variation/Masked_Somatic_Mutation"

# 获取所有maf文件路径
all.maf <- list.files(path = dir.path, pattern = ".gz", 
                      full.names = T, recursive = T)

# 看看前3个
all.maf[1:3]
## [1] "G:/tcga/GDCdata/TCGA-COAD/harmonized/Simple_Nucleotide_Variation/Masked_Somatic_Mutation/007c2ae4-bbd2-42c6-ab67-bf016fbddb51/982004b5-52e1-4a69-97d3-25bdcb77b026.wxs.aliquot_ensemble_masked.maf.gz"
## [2] "G:/tcga/GDCdata/TCGA-COAD/harmonized/Simple_Nucleotide_Variation/Masked_Somatic_Mutation/010f9040-294d-4d14-a2b4-80d7a11625dd/5083b949-1bf3-4bc2-bf4f-f668f8a13792.wxs.aliquot_ensemble_masked.maf.gz"
## [3] "G:/tcga/GDCdata/TCGA-COAD/harmonized/Simple_Nucleotide_Variation/Masked_Somatic_Mutation/0148fff1-b8af-4bf0-8bcd-de1ff9f750f3/2c16cfe2-bf6d-4a39-af3a-9dfd5ada3e17.wxs.aliquot_ensemble_masked.maf.gz"

然后直接读取就行了,觉得慢可以用data.table::fread()加快速度。

maf.list <- lapply(all.maf, read.table, 
                   skip = 7, 
                   sep = "\t", 
                   header = T)

然后直接合并即可,如果不放心可以看看列数列名是不是一样,100%一样,我们就不看了。

# lapply(maf.list, dim)

maf.merge <- do.call(rbind,maf.list)

目前为止看似一切顺利,本以为即将结束,但是没想到横生枝节!

竟然读取不了,而且我们得到的这个maf.merge竟然只有137665行!和252664行的差距实在是太大了!

# 读取失败!
maf1 <- read.maf(maf.merge)

## -Validating
## --Removed 5 duplicated variants
## --Non MAF specific values in Variant_Classification column:
##   3UTR   DEL T   T   -   novel       TCGA-A6-6781-01A-22D-1924-10    TCGA-A6-6781-10A-01D-1924-10

果然不检查数据是不行的!

然后只能回过头去看哪里出了问题,通过仔细使用VScode直接打开maf文件和我们读取的文件对比,发现了问题。

Variant_Classification这一列中,有一些3'UTR / 5'UTR这样的类型,但是在使用read.table()读取的时候竟然识别不出来!

小丑竟是我自己!

image.png

所以直接导致遇到这个之后的所有行都是错位的,而且少了非常多行。

生气啊!

但是找到问题之后解决就非常简单,换个函数就行了,我们直接用data.table::fread()读取!

maf.list <- lapply(all.maf, data.table::fread, 
                   sep = "\t", 
                   header = T,
                   skip = 7 
                   )

maf.merge <- do.call(rbind,maf.list)

dim(maf.merge)
## [1] 252664    140

现在就和前面的数据一模一样了,252664行,140列(少了一列是表示来自于第几个样本,没有用)。

# 读取成功!
maf1 <- read.maf(maf.merge)
## -Validating
## -Silent variants: 63597 
## -Summarizing
## --Mutiple centers found
## BCM;WUGSC;BCM;BI;BCM;WUGSC--Possible FLAGS among top ten genes:
##   TTN
##   SYNE1
##   MUC16
## -Processing clinical data
## --Missing clinical data
## -Finished in 3.970s elapsed (3.730s cpu)
plotmafSummary(maf = maf1, rmOutlier = TRUE, addStat = 'median', dashboard = TRUE)
image.png

简单!下次说说这个maftools的使用。

觉得有用请多多转发~拒绝不必要的花钱!难道免费的不如付费的香??

你可能感兴趣的:(新版TCGA的突变SNP数据下载和整理)