批量处理——for循环迁移文件

R

相比于网页工具，使用编程语言处理科研数据的一大优势，在于高度的定制化，以及批量处理数据的快捷性和高效性

目录
批量处理——for循环批量计算组间差异
批量处理——apply批量计算组间差异
批量处理——for循环画图

对于批量处理数据的方法，之前使用for循环和apply语句进行处理过，但是不够系统，学习果子生信课程后有一个清晰的认识，写下来，一是可以调用方便，二是自己写过之后，才能算是完全掌握。当然一切以解决问题为主，不陷于技术深究。

前言：刚开始接触R时，只觉得是一项统计分析工具，后来发现可以做生信分析，偶然间处理TCGA数据时，发现其竟然可以处理文件。我想好多推销python用来自动化办公，应该也是编程语言的应用之一。利用文件处理功能，解决了一次zotero文献管理软件导出的操作，可以说是解决实际问题。

1. 整理TCGA下载的数据

1.1数据特征

下载TCGA数据在TCGA数据官网网页下载及gdc-client下载写过，然后下载得到的表达数据并不是我们经常使用的矩阵文件，而是一个个单独的数据，这个时候需要将这些压缩文件读入一个文件夹，再进行合并。这个方法在整理从TCGA下载的数据写过，这次单独拿出来，练习一下。

1.2将表达数据放在同一个文件夹下面

之前的代码

# multipling the multi-data into one file
dir.create('data_in_one')
for(dirname in dir('rawdata/')){
  file <- list.files(paste0(getwd(),"/rawdata/", dirname), pattern = "*.counts.gz")
  file.copy(from = paste0(getwd(),"/rawdata/",dirname,"/",file),to = "data_in_one")
}

经过上课之后，微调之后的代码，其实是将代码变得更加普遍适用。

### 使用for循环来批量做
for (dirname in dir("rawdata/")){  
  ## 1.要查看的单个文件夹的绝对路径
  mydir <- paste0(getwd(),"/rawdata/",dirname)
  ## 2.找到对应文件夹中的文件并提取名称，pattern表示模式，可以是正则表达式
  file <- list.files(mydir,pattern = "*.counts")
  ## 3.当前文件的绝对路径是
  myfile <- paste0(mydir,"/",file)
  ## 4.复制这个文件到目的文件夹
 file.copy(from = myfile,to = "data_in_one")  
}

2.处理zotero文献管理得到的文件

起因是有同学要把zotero某一项目下的文件pdf全部复制出来，然后整体给导师。遇到的问题是，适用zotero导出文献后，每个文献又有一个单独的文件夹，不方便查看，所以需要放在一个文件夹下面。

其实这个不算是必须事项，因为文献管理可以直接把doi发过去，导入过程，自动下载。但是对方也不太用文献管理软件，所以就使用上面的方法了。
导出选项

导出选项

导出结果

导出结果

导出结果

然后在文件夹中创建R

写入代码

if (!dir.exists('./data_in_one/')) {
  dir.create('./data_in_one/')
}

for (dirname in dir("./files/")){  
  ## 1.要查看的单个文件夹的绝对路径
  mydir <- paste0(getwd(),"/files/",dirname)
  ## 2.找到对应文件夹中的文件并提取名称，pattern表示模式，可以是正则表达式
  file <- list.files(mydir,pattern = "*.pdf")
  ## 3.当前文件的绝对路径是
  myfile <- paste0(mydir,"/",file)
  ## 4.复制这个文件到目的文件夹
  file.copy(from = myfile,to = "data_in_one")  
}  

顺利解决

因为需要更改的是500+篇文献，我只是复现的时候，用了几个例子，所以技能也还是有用的。

后记：技多不压身，多一门技能，就多一项可能解决问题的思路。
批量操作的应用优势应该还是体现在计算方面
后续：相关性批量操作