R实战-大数据文件分割为多个Excel

一、原文件

单个数据文件100多万行，达到400MB，传统Excel软件软件束手无策，打开慢、打开后数据丢失、打开后无法操作，这个时候R就派上用场了

image.png

二、R代码

（一）载入R数据处理相关包

library(rJava)
library(xlsxjars)
library(xlsx)
library(readxl)
library(data.table)
library(dplyr)

（二）导入大数据文件并整理结构

fread( file.choose(),skip =0) -> bss_qf # 手工导入数据
city_order<-read_excel("d:\触点数据\R统计\固定表头.xlsx",
sheet="地市排序",skip=0)
names(bss_qf)
bss_qf <- bss_qf[,-5]
as.vector(city_order$地市) -> ds # 数据初步整理

（三）通过循环实现文件分割后导出

i=1
for (i in 1:length(ds)) {
as.character(ds[i]) -> j
assign(paste0(ds[i],"bss1901") , bss_qf %>% filter(地市 == j) )
write.csv(get(paste0(ds[i],"bss1901")),
file = paste0("d:\",ds[i],"bss-1901",".csv"),
row.names = F, quote = F) }

三、导出效果

R命令方式处理，每个文件用时3-4分钟，每个文件分割后效果，每个文件只有30MB左右

image.png