rmd
插入代码块ctrl+alt+I
1.数据下载
gdc-client 官方下载工具
UCSC Xena 浏览器 分类打包，直接下载
gdcRNAtools基于gdc-client下载并简化整理，用R语言完成
title: "gdc-client数据下载"
author: "Sun Xiaojie"
output: html_document
editor_options:
chunk_output_type: console
knitr::opts_chunk$set(
collapse = TRUE,
comment = "#>"
)
knitr::opts_chunk$set(fig.width = 6,fig.height = 6,collapse = TRUE)
knitr::opts_chunk$set(message = FALSE)
本文的内容是用GDC下载并整理表达矩阵和临床信息数据。
1.从网页选择数据，下载manifest文件
数据存放网站：https://portal.gdc.cancer.gov/
在Repository勾选自己需要的case和file类型。以CHOL为例：
case-Project选择TCGA-CHOL。
2.从网页下载数据
示例miRNA-Seq，clinical数据和joson没有区别
gdc tcga网站
case——program☑️TCGA——project☑️选择目标癌症
files——Data Category☑️clinical——date format☑️bcr xml
下载manifes清单
files——data category☑️transcriptome profoling ——date type ☑️gene Expression qualification——experimental strategy ☑️RNA-Seq——workflow type☑️HTseq-counts
manifest进行下载，储存至新建文件夹
file-选择如图：
左右分别是expdata 和clinical的样本选择截图。选好后，点击右侧manifest键下载对应的清单文件。
2.使用gdc-client工具下载
注意：
将gdc-client(mac)或gdc-client.exe(windows)放在工作目录下；
将manifest文件放在工作目录下。
options(stringsAsFactors = F)
library(stringr)
cancer_type="TCGA-CHOL" #定义变量
if(!dir.exists("clinical"))dir.create("clinical") #判断文件是否存在，否则新建
if(!dir.exists("expdata"))dir.create("expdata")
dir() #展示工作目录下所有文件
#下面两行命令在terminal完成
#./gdc-client download -m gdc_manifest_cl.2020-03-23.txt -d clinical
#./gdc-client download -m gdc_manifest_expdata.2020-03-23.txt -d expdata
length(dir("./clinical/"))
length(dir("./expdata/"))
可以看到，下载的文件是按样本存放的，我们需要得到的是表格，需要将他们批量读入R语言并整理。
3.整理临床信息
library(XML) #加载读取xml的包
result <- xmlParse("./clinical/142aea0e-7a7b-4ac4-9dbb-0f62e2379599/nationwidechildrens.org_clinical.TCGA-W5-AA2O.xml") #
rootnode <- xmlRoot(result) #提取xml文件节点
xmlSize(rootnode)
print(rootnode[1]) #对节点输出，看看各自节点信息
#print(rootnode[2]) #患者有用的临床信息都在第二个节点
xmldataframe <- xmlToDataFrame(rootnode[2]) #转成数据框
head(t(xmlToDataFrame(rootnode[2]))) #转置数据框，按行排列
xmls = dir("clinical/",pattern = "*.xml$",recursive = T)
cl = list() #读取"clinical/"文件夹下所有这样格式的xml，所有子文件夹也要扫描
for(i in 1:length(xmls)){
result <- xmlParse(paste0("clinical/",xmls[[i]]))
rootnode <- xmlRoot(result)
cl[[i]] = xmlToDataFrame(rootnode[2])
}
clinical <- do.call(rbind,cl)
clinical[1:3,1:3]
4.整理表达矩阵
探索数据：先任选两个counts文件读取，并观察geneid的顺序是否一致。
options(stringsAsFactors = F)
x = read.table("expdata/03aee74e-4e37-4a58-a720-c90e807d2f40/be5bc6a0-9720-47ac-953e-fa8d0c32cd82.htseq.counts.gz",
row.names = 1,sep = "\t") #患者1的基因表达矩阵
x2 = read.table("expdata/10d08172-48d2-49e7-b760-721163492cc1/c1071bcd-5a0c-4e09-a578-fc4b6dbe26ad.htseq.counts.gz",
row.names = 1,sep = "\t") #患者2的基因表达矩阵
identical(rownames(x),rownames(x2)) #验证患者基因表达顺序是否一致
由此可知，他们的geneid顺序是一致的，可以直接cbind，不会导致顺序错乱。
批量读取所有的counts.gz文件（将不同患者的表达矩阵所处文件名汇总到一个列表）
count_files = dir("expdata/",pattern = "*.htseq.counts.gz$",recursive = T)
前面是文件夹的名字/后面是文件的名字
exp = list()
for(i in 1:length(count_files)){
exp[[i]] <- read.table(paste0("expdata/",count_files[[i]]),row.names = 1,sep = "\t")
}
exp <- do.call(cbind,exp)
dim(exp)
exp[1:4,1:4]
发现问题：这样产生出来的表达矩阵没有列名（也就是不同患者id信息无法显示，之后就与临床信息无法对应）
解决办法：找到一个文件名与样本ID一一对应的文件。cart-json文件。
meta <- jsonlite::fromJSON("metadata.cart.2020-03-23.json")
colnames(meta)
ids <- meta$associated_entities;class(ids)
ids[[1]]
ids[[1]][,1]
可以看到，meta$associated_entities是个列表，这个列表里包含数据框，数据框的第一列内容就是tcga样本id。
注意，换了数据需要自己探索存放在哪一列。不一定是完全一样的，需要确认清楚。
批量提取associated_entities（ids）列表元素里面的基因名
ID = sapply(ids, function(x){x[,1]})
#当列表元素里只有一个值时， sapply将列表转化为带名字的向量
#创造函数function(x){运算方式}
#取ids列表每个元素里面的第一列组成向量
file2id = data.frame(file_name = meta$file_name,
ID = ID) #以基因表达矩阵为模版，根据文件夹与临床样本ID对应关系，调整临床信息数据
文件名与TCGA样本ID的对应关系已经得到，接下来是将其添加到表达矩阵中，成为行名。需要找到读取文件的顺序，一一对应修改。
head(file2id$file_name,2)
head(count_files,2)
count_files2 = stringr::str_split(count_files,"/",simplify = T)[,2]
table(count_files2 %in% file2id$file_name)
#检查基因表达矩阵文件名与临床信息文件名是否完全一致
文件名格式并不完全一样，截取count_files“/”后面的名字组成新向量
count_files2（表达矩阵）的顺序就是列名的顺序，根据它来调整file2id（样本）的顺序。此处需要再次理解一下match函数。
file2id = file2id[match(count_files2,file2id$file_name),]
colnames(exp) = file2id$ID
exp[1:4,1:4]
表达矩阵整理完成,需要过滤一下那些在很多样本里表达量都为0的基因。过滤标准不唯一。
dim(exp)
#exp = exp[rowSums(exp)>0,]
#筛选条件所有样本A基因表达量总和>0则保留此行
exp = exp[apply(exp, 1, function(x) sum(x > 1) > 9), ]
#对exp这个矩阵1（行）/2（列）执行后面的函数，A基因表达了>1的样本总数>9的行保留，>9这个条件可根据情况改变
dim(exp)
exp[1:4,1:4]
exp = as.matrix(exp)
分组信息
根据样本ID的第14-15位，给样本分组（tumor和normal）
table(str_sub(colnames(exp),14,15)) #根据前图判断对照和肿瘤，截取tacg基因名14-15位
Group = ifelse(as.numeric(str_sub(colnames(exp),14,15)) < 10,'tumor','normal')
Group = factor(Group,levels = c("normal","tumor"))
table(Group)
save(exp,clinical,Group,cancer_type,file = paste0(cancer_type,"_gdc.Rdata"))